[HADOOP] Hadoop 네임 노드 메모리 사용량에 대한 혼란

Hadoop 네임 노드 메모리 사용량에 대한 혼란

나는 Hadoop 네임 노드 메모리 계산에 대해 의심의 여지가있다.

"namenode는 파일 시스템 메타 데이터를 메모리에 보유하므로 파일 시스템의 파일 수 제한은 namenode의 메모리 양에 의해 결정됩니다. 일반적으로 각 파일, 디렉토리 및 블록은 약 150 바이트를 사용합니다. 예를 들어, 각각 하나의 블록을 사용하는 백만 개의 파일이있는 경우 최소 300MB의 메모리가 필요합니다. 수백만 개의 파일을 저장할 수는 있지만 수십억 개는 현재 하드웨어의 기능을 능가합니다. "

각각 하나의 블록을 사용하므로 네임 노드 최소 메모리는 300MB가 아니라 150MB 여야합니다. 왜 300MB인지 이해하도록 도와주세요.

해결법

1. ==============================

   1.Tom White의 두 번째 책을 읽은 것 같습니다. 나는 세 번째 판을 가지고 있으며, 이것은 하둡 분산 파일 시스템의 포스트 확장성에 대한 참조입니다. 게시물에 다음 문장을 읽었습니다.

   Tom White의 두 번째 책을 읽은 것 같습니다. 나는 세 번째 판을 가지고 있으며, 이것은 하둡 분산 파일 시스템의 포스트 확장성에 대한 참조입니다. 게시물에 다음 문장을 읽었습니다.

   HDFS NameNode의 파일은 다음과 같습니다. 파일 inode + 블록. 둘 다에 대한 각 참조에는 150 바이트가 있습니다. 파일의 1.000.000 = 1.000.000 inode + 1.000.000 블록 참조 (이 예에서 각 파일은 1 블록을 점유했습니다).

   2.000.000 * 150 바이트 ~ = 300Mb

   내가 논증에 실수를 저지른 경우 확인할 수있는 링크를 넣었습니다.

from https://stackoverflow.com/questions/28211548/confusion-over-hadoop-namenode-memory-usage by cc-by-sa and MIT license