[HADOOP] 하둡 의도 된 메모리 사용량

하둡 의도 된 메모리 사용량

hadoop 네임 노드 메모리 문제로 혼동됩니다.

매우 감사합니다!

해결법

1. ==============================

   1.네임 노드는 기본적으로 블록으로 HashMap을 관리하는 RPC 서버이므로 두 가지 주요 메모리 문제가 있습니다.

   네임 노드는 기본적으로 블록으로 HashMap을 관리하는 RPC 서버이므로 두 가지 주요 메모리 문제가 있습니다.

   이것이 네임 노드에 많은 메모리가 필요한 이유입니다.

   What determines namenode'QPS (Query Per Second) ?
   

   아직 벤치마킹하지 않았으므로 이에 대한 유용한 팁을 드릴 수 없습니다. 핸들러의 미세 조정은 병렬 + 추측 실행으로 실행될 수있는 작업 수보다 더 높게 계산됩니다. 작업을 제출하는 방법에 따라 다른 자산도 미세 조정해야합니다.

   물론 네임 노드에 항상 충분한 메모리를 제공해야하므로 전체 가비지 콜렉션주기에 빠지지 않는 헤드 룸이 있습니다.

from https://stackoverflow.com/questions/13192835/hadoop-namenode-memory-usage by cc-by-sa and MIT license