[HADOOP] java.lang.RuntimeException을 해결하는 방법 : PipeMapRed.waitOutputThreads () : 서브 프로세스가 코드 2로 실패 했습니까?

java.lang.RuntimeException을 해결하는 방법 : PipeMapRed.waitOutputThreads () : 서브 프로세스가 코드 2로 실패 했습니까?

Hadoop 환경에서 NLTK를 실행하려고합니다. 다음은 내가 실행에 사용했던 명령이다.

bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar -input /user/nltk/input/ -output /user/nltk/output1/ -file /home/hduser/softwares/NLTK/unsupervised_sentiment-master.zip -mapper /home/hduser/softwares/NLTK/unsupervised_sentiment-master/sentiment.py

unsupervised_sentiment-master.zip --- sentiment.py에 필요한 모든 종속 파일을 포함합니다.

나는 얻고있다

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

어떤 도움을 주시면 대단히 감사하겠습니다 !!!

해결법

1. ==============================

   1.파이썬 파일을 게시 할 수 있습니까? 내 생각 엔 py 파일의 맨 위에 #! / usr / bin / python을 추가해야합니다. 이것은 내가 파이썬을 사용하여 스트리밍 할 때의 경우입니다.

   파이썬 파일을 게시 할 수 있습니까? 내 생각 엔 py 파일의 맨 위에 #! / usr / bin / python을 추가해야합니다. 이것은 내가 파이썬을 사용하여 스트리밍 할 때의 경우입니다.

   최고, 주간

2. ==============================

   2.파이썬 스크립트의 맨 아래에 아래 줄을 추가하면 코드가 제대로 작동합니다.

   파이썬 스크립트의 맨 아래에 아래 줄을 추가하면 코드가 제대로 작동합니다.

   #! / usr / bin / python

3. ==============================

   3.나는 당신의 오류가 무엇인지 정확히 말할 수는 없지만, 나의 파이썬 스크립트에서 해결되지 않은 의존성을 가지고 있었다. 즉 통계 모델.

   나는 당신의 오류가 무엇인지 정확히 말할 수는 없지만, 나의 파이썬 스크립트에서 해결되지 않은 의존성을 가지고 있었다. 즉 통계 모델.

4. ==============================

   4.sentiment.py 파일에서 다음 줄을 맨 위에 추가하십시오.

   sentiment.py 파일에서 다음 줄을 맨 위에 추가하십시오.

   ```

   ```

   이것은 나를 위해 일했습니다.

from https://stackoverflow.com/questions/16397725/how-to-resolve-java-lang-runtimeexception-pipemapred-waitoutputthreads-subpr by cc-by-sa and MIT license