[HADOOP] 작업은 예 하둡 0.23.0에서 실행 매달려 때
HADOOP작업은 예 하둡 0.23.0에서 실행 매달려 때
나는 하둡 0.23.0에서 용량 스케줄러를 추가하려고하고 샘플 파이, randomwriter 프로그램을 실행하려합니다.
모든 데몬은 위 작업을 잘하지만, 작업이 교수형에 처해지고 더 이상 출력이 표시되지지고 있습니다.
나는 그들이 축적 된 로그를 볼 수 couldnt한다. 그 누구도 날이 로그가 저장되는이 작업의 매달려 및 위치에 대한 이유를 알려 주시기 바랍니다 수 있습니다.
2012-06-08 18:41:06,118 INFO mapred.YARNRunner (YARNRunner.java:createApplicationSubmissionContext(355)) - Command to launch container for ApplicationMaster is : $JAVA_HOME/bin/java -Dlog4j.configuration=container-log4j.properties -Dyarn.app.mapreduce.container.log.dir=<LOG_DIR> -Dyarn.app.mapreduce.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1536m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr
2012-06-08 18:41:06,251 INFO mapred.ResourceMgrDelegate (ResourceMgrDelegate.java:submitApplication(304)) - Submitted application application_1339151256291_0003 to ResourceManager
2012-06-08 18:41:06,355 INFO mapreduce.Job (Job.java:monitorAndPrintJob(1207)) - Running job: job_1339151256291_0003
2012-06-08 18:41:07,366 INFO mapreduce.Job (Job.java:monitorAndPrintJob(1227)) - map 0% reduce 0%
해결법
-
==============================
1.나는 http://www.thecloudavenue.com/search?q=0.23의 지시에 따라 성공적으로 작은 3 노드 클러스터에 하둡 - 0.23.4를 실행합니다.
나는 http://www.thecloudavenue.com/search?q=0.23의 지시에 따라 성공적으로 작은 3 노드 클러스터에 하둡 - 0.23.4를 실행합니다.
에서 로그 파일을 확인
마스터와 슬레이브에있는 모든 오류에 대해 폴더.
다음과 같은 콘솔 확인
데이타 노드 수에 맞는지 확인
NodeManagers의 수를 제대로보고되어 있는지 확인
또한 NodeManagers의 수는 정확하게 지정해야
적절한 내용으로 출력 폴더는 네임 노드 웹 콘솔을 통해 만들어 졌는지 확인
from https://stackoverflow.com/questions/10942601/job-hanging-when-example-run-on-hadoop-0-23-0 by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 감소 하둡지도를위한 파이썬에서 사용자 정의 쓰기 가능한 키 / 값 유형을 작성? (0) | 2019.09.22 |
---|---|
[HADOOP] GenericUDF 기능은 구조체의 배열에서 필드를 추출하는 (0) | 2019.09.22 |
[HADOOP] 오류 KeyProviderCache : 키와 URI를 찾을 수 없습니다 (0) | 2019.09.22 |
[HADOOP] Hadoop-> Mapper-> 우리가 어떻게 주어진 입력 경로에서 각 파일에서만 상위 N 행을 읽을 수 있습니까? (0) | 2019.09.22 |
[HADOOP] HiveQL에서 "ALTER TABLE IF는 t2에서는 TO T1의 RENAME 존재"? (0) | 2019.09.22 |