[HADOOP] Giraph의 추정 클러스터 힙 4,096메가바이트 요청은 0메가바이트의 현재 가용성 클러스터 힙보다 더 크다. 작업 중단

Giraph의 추정 클러스터 힙 4,096메가바이트 요청은 0메가바이트의 현재 가용성 클러스터 힙보다 더 크다. 작업 중단

나는 5 노드 클러스터에서 하둡 2.5.2을 사용하여 Giraph를 실행하고 있습니다. 나는 SimpleShortestPathsComputation의 예제를 실행하려고 할 때, 나는이 오류가 발생합니다 :

지금까지 나는 Giraph 클러스터가 0메가바이트 힙을 가지고 생각하는 이유를 확인 할 수 없었습니다. 나는 각각 yarn-env.sh과 hadoop-env.sh에 YARN_HEAPSIZE 및 HADOOP_HEAPSIZE을 설정하고 원사를 site.xml에 한 내가 가진 :

 <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8960</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>

이와 무슨 일이 일어나고 있는지 어떤 생각?

해결법

1. ==============================

   1.이 환경 문제로 밝혀졌다. 기본적으로, 무슨 일이 있습니다 : Giraph 실행 노드의 목록에 대한 원사 ResourceManager에 요청하고, 나열된 노드에서 사용할 수있는 힙을 요약, 다음이 필요로 얼마나 많은 힙의 그것의 자신의 예상과 비교합니다. 내 경우, 내 설정에서 글리치는 노드를 나열하는 실패 원사를 일으키는 등 Giraph 힙의 0메가바이트 클러스터에 사용할 수라고 생각했습니다.

   이 환경 문제로 밝혀졌다. 기본적으로, 무슨 일이 있습니다 : Giraph 실행 노드의 목록에 대한 원사 ResourceManager에 요청하고, 나열된 노드에서 사용할 수있는 힙을 요약, 다음이 필요로 얼마나 많은 힙의 그것의 자신의 예상과 비교합니다. 내 경우, 내 설정에서 글리치는 노드를 나열하는 실패 원사를 일으키는 등 Giraph 힙의 0메가바이트 클러스터에 사용할 수라고 생각했습니다.

   근본적인 문제는 두 가지였다 :

   이 두 문제가 해결되면이 문제는 멀리 갔다.

from https://stackoverflow.com/questions/28977337/giraphs-estimated-cluster-heap-4096mb-ask-is-greater-than-the-current-available by cc-by-sa and MIT license