[HADOOP] fsimage hdfs의 내용

fsimage hdfs의 내용

fsimage의 메타 데이터가 무엇인지에 대한 질문이 있습니다. 파일 이름 변경, 권한 변경, 파일 생성, 블록 할당과 같은 파일 시스템 네임 스페이스에 대한 모든 변형이 fsimage 내부에 있음을 읽었습니다. 그러나 블록 위치 데이터도? 여기에는 블록이 어느 위치에 저장되어 있는지에 대한 정보가 포함되어 있습니까? 나는이 소스에서 얻는다 : http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/ 블록이 저장된 메타 데이터는 데이터 노드의 블록 저장소에 의해 빌드된다는 것입니다. 이것이 사실입니까? Fsimage에 블록 위치에 대한 정보가 포함되어 있지 않습니까?

해결법

1. ==============================

   1.네임 노드는 두 가지 유형의 데이터를 유지

   네임 노드는 두 가지 유형의 데이터를 유지

   블록 위치 데이터 : 파일이 블록으로 잘 리므로 NN은 어느 부분이 어디에 있는지 알아야합니다. 이 데이터는 메모리에 유지되며 디스크에 유지되지 않으며 DN은 정기적으로 NN과 통신하고 블록 보고서를 공유합니다.

   파일 시스템 (메타 데이터) : 파일 시스템 계층, 권한 등과 같은 정보입니다.이 정보는 디스크에 유지됩니다

   네임 노드가 시작되면 fsimage에서 파일 시스템의 "스냅 샷"을로드하고 편집에서 편집 로그를 파일에 적용합니다.이 과정이 끝나면 새 스냅 샷이 생성됩니다. 이 시점부터 namenode는 클라이언트 / DN의 파일 시스템 요청을 수락 할 수 있습니다.

2. ==============================

   2.예, fsimage에는 블록에 대한 정보가 포함되어 있지 않습니다. 이 정보는 데이터 노드에 의해 저장됩니다. 네임 노드는 데이터 노드에서 시작할 때이 정보를 얻습니다.

   예, fsimage에는 블록에 대한 정보가 포함되어 있지 않습니다. 이 정보는 데이터 노드에 의해 저장됩니다. 네임 노드는 데이터 노드에서 시작할 때이 정보를 얻습니다.

3. ==============================

   3.하둡은 fsimage 파일을 사람이 읽을 수있는 형식으로 변환하는 도구를 제공합니다. http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html

   하둡은 fsimage 파일을 사람이 읽을 수있는 형식으로 변환하는 도구를 제공합니다. http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html

   샘플 출력 :

   bin/hdfs oiv -i fsimagedemo -p Indented -o fsimage.txt
   
      FSImage
        ImageVersion = -19
        NamespaceID = 2109123098
        GenerationStamp = 1003
        INodes [NumInodes = 12]
          Inode
            INodePath =
            Replication = 0
            ModificationTime = 2009-03-16 14:16
            AccessTime = 1969-12-31 16:00
            BlockSize = 0
            Blocks [NumBlocks = -1]
            NSQuota = 2147483647
            DSQuota = -1
            Permissions
              Username = theuser
              GroupName = supergroup
              PermString = rwxr-xr-x
      ...remaining output omitted...
   

from https://stackoverflow.com/questions/16779501/content-of-the-fsimage-hdfs by cc-by-sa and MIT license