[HADOOP] 창에서 MR2와 NullPointerException이

창에서 MR2와 NullPointerException이

나는 창에서 하둡 2.3.0을 설치하고 성공적으로 MR 작업을 실행할 수있다. [HadoopSDK의 닷넷 어셈블리] C #으로 스트리밍 샘플을하는 동안 그러나 응용 프로그램은 다음과 같은 예외로 종료

14/05/16 18:21:06 INFO mapreduce.Job: Task Id : attempt_1400239892040_0003_r_000000_0, Status : FAILED
Error: java.lang.NullPointerException
at org.apache.hadoop.mapred.Task.getFsStatistics(Task.java:347)
at org.apache.hadoop.mapred.ReduceTask$OldTrackingRecordWriter.<init>(ReduceTask.java:478)
at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:414)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:392)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)

최신 정보:

나는 문제를 드릴 다운 할 수 있었다 예외가 다음 줄에서 제기 된 것을 발견

 matchedStats = getFsStatistics(FileOutputFormat.getOutputPath(job), job);

at org.apache.hadoop.mapred.ReduceTask$OldTrackingRecordWriter.<init>(ReduceTask.java:478)

상기에서, 'FileOutputFormat.getOutputPath (작업)'의 결과는 널 포인터 예외가 발생하는 null를 돌려줍니다. 아래는 getOutputPath () 함수에 대한 코드입니다.

public static final String OUTDIR = "mapreduce.output.fileoutputformat.outputdir";

  public static Path getOutputPath(JobConf conf) {
  String name = conf.get(org.apache.hadoop.mapreduce.lib.output.
  FileOutputFormat.OUTDIR);
  return name == null ? null: new Path(name);
  }

그래서 "mapreduce.output.fileoutputformat.outputdir"아무 곳이나 구성 파일에서이 문제가 해결 얻을 속성에 대한 값을 설정하는 데 필요한?

감사

해결법

1. ==============================

   1.문제는 하둡 서비스 [의 내 경우에는 SYSTEM] 다른 사용자로부터 시작되었고 맵리 듀스 샘플 내 로컬 사용자로부터 제출 된 것입니다. 그래서이 NULL로 [로컬 사용자] 파일 시스템 통계를 반환하여 문제를 만든다.

   문제는 하둡 서비스 [의 내 경우에는 SYSTEM] 다른 사용자로부터 시작되었고 맵리 듀스 샘플 내 로컬 사용자로부터 제출 된 것입니다. 그래서이 NULL로 [로컬 사용자] 파일 시스템 통계를 반환하여 문제를 만든다.

   난 내 로컬 사용자에서 하둡을 시작하면 위의 문제가 해결됩니다.

from https://stackoverflow.com/questions/23734440/nullpointerexception-with-mr2-in-windows by cc-by-sa and MIT license