[HADOOP] 원사 컨테이너 발사 실패 예외 mapred-site.xml의 구성

원사 컨테이너 발사 실패 예외 mapred-site.xml의 구성

내 하둡 클러스터의 7 개 노드 [각 노드에 8 기가 바이트 RAM과 4VCPUs, 1 네임 노드 + 6 개 데이타 노드가 있습니다.

EDIT-1의 @의 아르 논 : 내 노드 하드웨어 configruation에 따라 링크, 미친 계산을 따라 내 질문에 업데이트 mapred-사이트와 원사를 site.xml 파일을 추가했습니다. 아직 내 응용 프로그램은 동일한 exection와 충돌한다

내 MapReduce의 애플리케이션 1백28메가바이트의 블럭 사이즈 (34), 입력 스플릿을 갖는다.

mapred-site.xml 파일에는 다음과 같은 속성이 있습니다 :

mapreduce.framework.name  = yarn
mapred.child.java.opts    = -Xmx2048m
mapreduce.map.memory.mb   = 4096
mapreduce.map.java.opts   = -Xmx2048m

실-site.xml 파일에는 다음과 같은 속성이 있습니다 :

yarn.resourcemanager.hostname        = hadoop-master
yarn.nodemanager.aux-services        = mapreduce_shuffle
yarn.nodemanager.resource.memory-mb  = 6144
yarn.scheduler.minimum-allocation-mb = 2048
yarn.scheduler.maximum-allocation-mb = 6144

EDIT-2 아르 논 @ : 4096 yarn.scheduler.minimum 할당-MB를 설정하면 일시 중단 상태에있는 모든 맵 작업을 박았과 때라도와 3072 개 충돌로 할당

Exception from container-launch: ExitCodeException exitCode=134: /bin/bash: line 1:  3876 Aborted  (core dumped) /usr/lib/jvm/java-7-openjdk-amd64/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx8192m -Djava.io.tmpdir=/tmp/hadoop-ubuntu/nm-local-dir/usercache/ubuntu/appcache/application_1424264025191_0002/container_1424264025191_0002_01_000011/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/home/ubuntu/hadoop/logs/userlogs/application_1424264025191_0002/container_1424264025191_0002_01_000011
-Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA org.apache.hadoop.mapred.YarnChild 192.168.0.12 50842 attempt_1424264025191_0002_m_000005_0 11 > 
/home/ubuntu/hadoop/logs/userlogs/application_1424264025191_0002/container_1424264025191_0002_01_000011/stdout 2> 
/home/ubuntu/hadoop/logs/userlogs/application_1424264025191_0002/container_1424264025191_0002_01_000011/stderr

이 문제를 방지 할 수 있습니까? 어떤 도움에 감사드립니다

하둡 노드에서 컨테이너의 수를 제한 할 수있는 옵션이 있습니까?

해결법

1. ==============================

   1.당신이 너무 많은 메모리 (심지어 모든 구성을 보지 않고) 당신의 작업 맵 작업 당 8 기가 바이트 RAM과 8 기가 바이트있는 모든 힙입니다 할당하는 것 그런 기가 바이트 힙 또는 뭔가 낮은 할당 기가 바이트를 사용해보십시오

   당신이 너무 많은 메모리 (심지어 모든 구성을 보지 않고) 당신의 작업 맵 작업 당 8 기가 바이트 RAM과 8 기가 바이트있는 모든 힙입니다 할당하는 것 그런 기가 바이트 힙 또는 뭔가 낮은 할당 기가 바이트를 사용해보십시오

from https://stackoverflow.com/questions/28586561/yarn-container-lauch-failed-exception-and-mapred-site-xml-configuration by cc-by-sa and MIT license