[HADOOP] IOException : oozie 작업 흐름을 실행할 때 파일 시스템이 예외를 종료했습니다.

IOException : oozie 작업 흐름을 실행할 때 파일 시스템이 예외를 종료했습니다.

우리는 oozie에서 작업 흐름을 실행 중입니다. 첫 번째 작업은 hdfs에 파일을 생성하는 map reduce 작업이고 두 번째 작업은 파일의 데이터를 데이터베이스에 복사해야하는 작업입니다.

두 부분 모두 성공적으로 완료되었지만 오지는 실패한 프로세스로 표시하는 끝에 예외를 던집니다.

이것은 예외입니다.

2014-05-20 17:29:32,242 ERROR org.apache.hadoop.security.UserGroupInformation:   PriviledgedActionException as:lpinsight (auth:SIMPLE) cause:java.io.IOException: Filesystem   closed
2014-05-20 17:29:32,243 WARN org.apache.hadoop.mapred.Child: Error running child
java.io.IOException: Filesystem closed
    at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:565)
    at org.apache.hadoop.hdfs.DFSInputStream.close(DFSInputStream.java:589)
    at java.io.FilterInputStream.close(FilterInputStream.java:155)
    at org.apache.hadoop.util.LineReader.close(LineReader.java:149)
    at org.apache.hadoop.mapred.LineRecordReader.close(LineRecordReader.java:243)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.close(MapTask.java:222)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:421)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

2014-05-20 17 : 29 : 32,256 INFO org.apache.hadoop.mapred.Task : 태스크 정리 실행

어떤 생각?

해결법

1. ==============================

   1.파일 시스템에 액세스하는 동안 아래 구성을 사용하십시오.

   파일 시스템에 액세스하는 동안 아래 구성을 사용하십시오.

   Configuration conf = new Configuration();
   conf.setBoolean("fs.hdfs.impl.disable.cache", true);
   FileSystem fileSystem = FileSystem.get(conf);
   

2. ==============================

   2.비슷한 문제가 발생하여 java.io.IOException가 발생했습니다 : 파일 시스템이 닫혔습니다. 마지막으로, 나는 다른 곳에서 파일 시스템을 닫았다. hadoop 파일 시스템 API는 동일한 객체를 반환합니다. 따라서 하나의 파일 시스템을 닫으면 모든 파일 시스템이 닫힙니다. 나는이 해답에서 해답을 얻는다.

   비슷한 문제가 발생하여 java.io.IOException가 발생했습니다 : 파일 시스템이 닫혔습니다. 마지막으로, 나는 다른 곳에서 파일 시스템을 닫았다. hadoop 파일 시스템 API는 동일한 객체를 반환합니다. 따라서 하나의 파일 시스템을 닫으면 모든 파일 시스템이 닫힙니다. 나는이 해답에서 해답을 얻는다.

from https://stackoverflow.com/questions/23779186/ioexception-filesystem-closed-exception-when-running-oozie-workflow by cc-by-sa and MIT license