[HADOOP] AWS Elastic mapreduce가 스트리밍을 jar로 올바르게 변환하지 않는 것 같습니다

AWS Elastic mapreduce가 스트리밍을 jar로 올바르게 변환하지 않는 것 같습니다

파이프 버전으로 실행할 때 제대로 작동하는 매퍼와 감속기가 있습니다.

cat data.csv | ./mapper.py | sort -k1,1 | ./reducer.py

탄력적 mapreduce 마법사,로드 된 입력, 출력, 부트 스트랩 등을 사용했습니다. 부트 스트랩은 성공적이지만 여전히 실행 오류가 발생합니다.

이것은 1 단계에서 stderr에 들어가는 오류입니다 ...

+ /etc/init.d/hadoop-state-pusher-control stop
+ PID_FILE=/mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid
+ LOG_FILE=/mnt/var/log/hadoop-state-pusher/hadoop-state-pusher.out
+ SVC_FILE=/mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher
+ case $1 in
+ stop
+ echo 0
/etc/init.d/hadoop-state-pusher-control: line 35: /mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher: No such file or directory
+ /etc/init.d/hadoop-state-pusher-control start
+ PID_FILE=/mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid
+ LOG_FILE=/mnt/var/log/hadoop-state-pusher/hadoop-state-pusher.out
+ SVC_FILE=/mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher
+ case $1 in
+ start
++ dirname /mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher
+ sudo -u hadoop mkdir -p /mnt/var/lib/hadoop-state-pusher
+ echo 1
++ dirname /mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid
+ sudo -u hadoop mkdir -p /mnt/var/run/hadoop-state-pusher
++ dirname /mnt/var/log/hadoop-state-pusher/hadoop-state-pusher.out
+ sudo -u hadoop mkdir -p /mnt/var/log/hadoop-state-pusher
+ disown %1
+ sleep 5
+ sudo -u hadoop /usr/bin/hadoop-state-pusher -server --pidfile /mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid
+ exit 0
Command exiting with ret '0'

이것은 비밀입니다. 이것은 지상에서 무엇을 의미합니까?

무언가를 장착하는 데 문제가있는 것 같습니다. 다른 로그 파일 중 어디에서 정보를 얻을 수 있습니까?

인스턴스를 더 크게 만들기 위해 여기에서 찾은 솔루션을 시도했지만 동일한 오류 메시지가 작동하지 않았습니다.

해결법

1. ==============================

   1.잘못된 로그 파일을 찾고있었습니다. 실제로 유용한 파이썬 디버깅 정보를 제공하는 다른 (6과 같습니까?)가 있습니다. 파이썬 <2.7에서 지원되지 않는 숫자 {1} ". vars (a, b))가 아닌 문자열 interpolation.format ("이 종류는 {}입니다. 탄력적 mapreduce에 사용되는 EC2 이미지에서는 기본적으로

   잘못된 로그 파일을 찾고있었습니다. 실제로 유용한 파이썬 디버깅 정보를 제공하는 다른 (6과 같습니까?)가 있습니다. 파이썬 <2.7에서 지원되지 않는 숫자 {1} ". vars (a, b))가 아닌 문자열 interpolation.format ("이 종류는 {}입니다. 탄력적 mapreduce에 사용되는 EC2 이미지에서는 기본적으로

from https://stackoverflow.com/questions/18556270/aws-elastic-mapreduce-doesnt-seem-to-be-correctly-converting-the-streaming-to-j by cc-by-sa and MIT license