[HADOOP] 하둡 얀 컨테이너가 충분한 공간을 할당하지 않음

하둡 얀 컨테이너가 충분한 공간을 할당하지 않음

Hadoop 작업을 실행하고 있고 yarn-site.xml 파일에 다음과 같은 구성이 있습니다.

    <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>2048</value>
    </property>
    <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>4096</value>
    </property>

그러나 때때로 다음과 같은 오류가 발생합니다.

Container [pid=63375,containerID=container_1388158490598_0001_01_000003] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.8 GB of 4.2 GB virtual memory used. Killing container.

나는 yarn.scheduler.minimum-allocation-mb를 증가시킴으로써 컨테이너에 할당 된 물리적 메모리가 증가한다는 것을 발견했다. 그러나, 나는 항상 4GB가 내 컨테이너에 할당되는 것을 원하지 않으며, 명시 적으로 최대 크기를 지정함으로써이 문제를 해결할 수있을 것이라고 생각했다. 매퍼가 실행되기 전에 Hadoop이 컨테이너에 할당해야하는 메모리 양을 파악할 수 없다는 것을 알았습니다. 추가 메모리가 필요한 경우에만 컨테이너에 더 많은 메모리를 할당해야합니까?

해결법

1. ==============================

   1.또한 MapReduce에 대한 메모리 할당을 올바르게 구성해야합니다. 이 HortonWorks 튜토리얼 :

   또한 MapReduce에 대한 메모리 할당을 올바르게 구성해야합니다. 이 HortonWorks 튜토리얼 :

   마지막으로, Hadoop 메일 목록에있는이 스레드의 누군가가 같은 문제를 가지고 있었고, 그들의 경우에 코드에서 메모리 누수가 있음이 드러났습니다.

2. ==============================

   2.위의 구성 중 하나라도 도움이되지 않는 경우. 문제가 매퍼 메모리와 관련이 있다면 확인해야 할 몇 가지 제안 사항이 있습니다.

   위의 구성 중 하나라도 도움이되지 않는 경우. 문제가 매퍼 메모리와 관련이 있다면 확인해야 할 몇 가지 제안 사항이 있습니다.

from https://stackoverflow.com/questions/20803577/hadoop-yarn-container-does-not-allocate-enough-space by cc-by-sa and MIT license