[HADOOP] 지도 단계 이후 하둡 EOF 예외
HADOOP지도 단계 이후 하둡 EOF 예외
나는 의사 분산 모드에서 하둡을 runnig하고 있습니다. 지도 단계 DataInputStream.readFully () 메소드의 완료 후에 나의 새로운 MR 작업은 EOF 예외가 발생합니다. SequenceFile - 입력 / 출력 포맷은 동일하다. 비슷한 작업이 잘 실행되지만 새가 실패합니다.
스택 트레이스 :
java.io.EOFException java.io.DataInputStream.readFully에서 (DataInputStream.java:180) java.io.DataInputStream.readFully에서 (DataInputStream.java:152) org.apache.hadoop.io.SequenceFile $ Reader.init (SequenceFile.java:1520)에서 org.apache.hadoop.io.SequenceFile $ 리더에서. <초기화> (SequenceFile.java:1492) org.apache.hadoop.io.SequenceFile $ 리더에서. <초기화> (SequenceFile.java:1479) org.apache.hadoop.io.SequenceFile $ 리더에서. <초기화> (SequenceFile.java:1474) org.apache.hadoop.mapreduce.lib.input.SequenceFileRecordReader.initialize에서 (SequenceFileRecordReader.java:50) org.apache.hadoop.mapred.MapTask $ NewTrackingRecordReader.initialize (MapTask.java:451)에서 org.apache.hadoop.mapred.MapTask.runNewMapper에서 (MapTask.java:646) org.apache.hadoop.mapred.MapTask.run에서 (MapTask.java:323) org.apache.hadoop.mapred.Child $ 4.run에서 (Child.java:266) java.security.AccessController.doPrivileged에서 (기본 방법) javax.security.auth.Subject.doAs에서 (Subject.java:396) org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInf에서
나는이 문제를 해결했습니다, 그것은 HDFS 입력 폴더에 몇 손상된 시퀀스 파일에 의해 호출 된
해결법
from https://stackoverflow.com/questions/13240409/hadoop-eof-exception-after-map-step by cc-by-sa and MIT license