[HADOOP] 슬레이브 머신의 DiskErrorException - Hadoop multinode

슬레이브 머신의 DiskErrorException - Hadoop multinode

hadoop에서 XML 파일을 처리하려고하는데 XML 파일에서 단어 수 계산 작업을 호출 할 때 다음과 같은 오류가 발생합니다.

13/07/25 12:39:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000008_0, Status : FAILED
Too many fetch-failures
13/07/25 12:39:58 INFO mapred.JobClient:  map 99% reduce 0%
13/07/25 12:39:59 INFO mapred.JobClient:  map 100% reduce 0%
13/07/25 12:40:56 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000009_0, Status : FAILED
Too many fetch-failures
13/07/25 12:40:58 INFO mapred.JobClient:  map 99% reduce 0%
13/07/25 12:40:59 INFO mapred.JobClient:  map 100% reduce 0%
13/07/25 12:41:22 INFO mapred.JobClient:  map 100% reduce 1%
13/07/25 12:41:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000015_0, Status : FAILED
Too many fetch-failures
13/07/25 12:41:58 INFO mapred.JobClient:  map 99% reduce 1%
13/07/25 12:41:59 INFO mapred.JobClient:  map 100% reduce 1%
13/07/25 12:42:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000014_0, Status : FAILED
Too many fetch-failures
13/07/25 12:42:58 INFO mapred.JobClient:  map 99% reduce 1%
13/07/25 12:42:59 INFO mapred.JobClient:  map 100% reduce 1%
13/07/25 12:43:22 INFO mapred.JobClient:  map 100% reduce 2%

나는 관찰자가 슬레이브 컴퓨터의 hadoop-hduser-tasktracker-localhost.localdomain.log 파일에서 오류를 보았습니다.

2013-07-25 12:38:58,124 WARN org.apache.hadoop.mapred.TaskTracker: getMapOutput(attempt_201307251234_0001_m_000001_0,0) failed :
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find taskTracker/hduser/jobcache/job_201307251234_0001/attempt_201307251234_0001_m_000001_0/output/file.out.index in any of the configured local directories
        at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathToRead(LocalDirAllocator.java:429)

텍스트 파일을 실행할 때이 작동합니다.

해결법

1. ==============================

   1.이 문제를 겪은 것처럼 보입니다. 패치를 적용하거나 고정 버전을 다운로드하십시오.

   이 문제를 겪은 것처럼 보입니다. 패치를 적용하거나 고정 버전을 다운로드하십시오.

   HTH

from https://stackoverflow.com/questions/17851462/diskerrorexception-on-slave-machine-hadoop-multinode by cc-by-sa and MIT license