[HADOOP] 지도 축소 작업이지도에서 멈춤 0 % 감소 0 %

지도 축소 작업이지도에서 멈춤 0 % 감소 0 %

유명한 단어 수를 예로 들고 있습니다. 나는 로컬과 헐떡 거림 설정이있다. 같은 예제가 prod에서 작동하지만 로컬에서는 작동하지 않습니다. 누군가 내가 무엇을 찾아야하는지 말해 줄 수 있습니까? 직업이 막혔다. 작업 로그는 다음과 같습니다.

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

지역적으로 가상 배포 모드로 실행 중입니다. 모든 3 개의 프로세스, namenode, datanode, jobtracker가 실행 중입니다. 추가 정보가 필요한지 알려주세요.

해결법

1. ==============================

   1.tasktracker가 누락 된 것 같습니다.

   tasktracker가 누락 된 것 같습니다.

   시험:

   hadoop tasktracker &
   

2. ==============================

   2.Hadoop 2.x에서이 문제는 메모리 문제와 관련 될 수 있습니다. MapReduce에서 Hadoop 2.2.0이 작동하지 않는 것을 볼 수 있습니다.

   Hadoop 2.x에서이 문제는 메모리 문제와 관련 될 수 있습니다. MapReduce에서 Hadoop 2.2.0이 작동하지 않는 것을 볼 수 있습니다.

3. ==============================

   3.나는 같은 문제를 겪었고이 페이지는 나를 도왔다. http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

   나는 같은 문제를 겪었고이 페이지는 나를 도왔다. http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

   기본적으로 다음 3 단계를 사용하여 내 문제를 해결했습니다. 사실 내가 가지고있는 메모리를 훨씬 더 많이 구성해야했습니다.

   1) yarn-site.xml

   2) mapred-site.xml

   3) 모든 노드에서이 파일을 전송하십시오.

4. ==============================

   4.hadoop tasktracker 및 기타 문제를 제외합니다. 코드를 확인하고 무한 루프 나 다른 버그가 없는지 확인하십시오. 어쩌면 코드에 몇 가지 버그가있을 수 있습니다!

   hadoop tasktracker 및 기타 문제를 제외합니다. 코드를 확인하고 무한 루프 나 다른 버그가 없는지 확인하십시오. 어쩌면 코드에 몇 가지 버그가있을 수 있습니다!

5. ==============================

   5.Hive 쿼리를 사용할 때이 문제가 발생하면 파티션을 활용하지 않고 두 개의 매우 큰 테이블을 조인하고 있는지 확인하십시오. 파티션을 사용하지 않으면 전체 테이블 스캔을 오랫동안 실행하여지도에 걸릴 수 있습니다. 0 % 0 % 감소.

   Hive 쿼리를 사용할 때이 문제가 발생하면 파티션을 활용하지 않고 두 개의 매우 큰 테이블을 조인하고 있는지 확인하십시오. 파티션을 사용하지 않으면 전체 테이블 스캔을 오랫동안 실행하여지도에 걸릴 수 있습니다. 0 % 0 % 감소.

from https://stackoverflow.com/questions/18525354/map-reduce-job-getting-stuck-at-map-0-reduce-0 by cc-by-sa and MIT license