복붙노트

[HADOOP] 작업은 예 하둡 0.23.0에서 실행 매달려 때

HADOOP

작업은 예 하둡 0.23.0에서 실행 매달려 때

나는 하둡 0.23.0에서 용량 스케줄러를 추가하려고하고 샘플 파이, randomwriter 프로그램을 실행하려합니다.

모든 데몬은 위 작업을 잘하지만, 작업이 교수형에 처해지고 더 이상 출력이 표시되지지고 있습니다.

나는 그들이 축적 된 로그를 볼 수 couldnt한다. 그 누구도 날이 로그가 저장되는이 작업의 매달려 및 위치에 대한 이유를 알려 주시기 바랍니다 수 있습니다.

2012-06-08 18:41:06,118 INFO  mapred.YARNRunner (YARNRunner.java:createApplicationSubmissionContext(355)) - Command to launch container for ApplicationMaster is : $JAVA_HOME/bin/java -Dlog4j.configuration=container-log4j.properties -Dyarn.app.mapreduce.container.log.dir=<LOG_DIR> -Dyarn.app.mapreduce.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1536m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr 
2012-06-08 18:41:06,251 INFO  mapred.ResourceMgrDelegate (ResourceMgrDelegate.java:submitApplication(304)) - Submitted application application_1339151256291_0003 to ResourceManager
2012-06-08 18:41:06,355 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1207)) - Running job: job_1339151256291_0003
2012-06-08 18:41:07,366 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1227)) -  map 0% reduce 0%

해결법

  1. ==============================

    1.나는 http://www.thecloudavenue.com/search?q=0.23의 지시에 따라 성공적으로 작은 3 노드 클러스터에 하둡 - 0.23.4를 실행합니다.

    나는 http://www.thecloudavenue.com/search?q=0.23의 지시에 따라 성공적으로 작은 3 노드 클러스터에 하둡 - 0.23.4를 실행합니다.

    에서 로그 파일을 확인

    마스터와 슬레이브에있는 모든 오류에 대해 폴더.

    다음과 같은 콘솔 확인

    데이타 노드 수에 맞는지 확인

    NodeManagers의 수를 제대로보고되어 있는지 확인

    또한 NodeManagers의 수는 정확하게 지정해야

    적절한 내용으로 출력 폴더는 네임 노드 웹 콘솔을 통해 만들어 졌는지 확인

  2. from https://stackoverflow.com/questions/10942601/job-hanging-when-example-run-on-hadoop-0-23-0 by cc-by-sa and MIT license