[HADOOP] hadoop-streaming 예제를 실행하지 못했습니다 - 맵에서 key에 유형 불일치

hadoop-streaming 예제를 실행하지 못했습니다 - 맵에서 key에 유형 불일치

I was running  $HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
    -D stream.map.output.field.separator=. \
    -D stream.num.map.output.key.fields=4 \
    -input myInputDirs \
    -output myOutputDir \
    -mapper org.apache.hadoop.mapred.lib.IdentityMapper \
    -reducer org.apache.hadoop.mapred.lib.IdentityReducer 
What hould be the input file when IdentityMapper is the mapper?

나는 그것이 전체 키가 아닌 특정 선택된 키를 정렬 할 수 있기를 희망했다. 입력 파일이 간단합니다. "aa bb". "cc dd" 내가 무엇을 놓쳤는 지 잘 모르겠다. 나는 항상이 오류가 발생한다.     java.lang.Exception : java.io.IOException : map에서 키의 형식이 일치하지 않습니다 : expected org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable             org.apache.hadoop.mapred.LocalJobRunner $ Job.run (LocalJobRunner.java:371)에서     원인 : java.io.IOException : 키의 유형이 Map에서 일치하지 않습니다. expected org.apache.hadoop.io.Text, 수신 된 org.apache.hadoop.io.LongWritable

해결법

1. ==============================

   1.이것은 알려진 버그이며 여기에 JIRA가 있습니다. 이 버그는 Hadoop 0.21.0에서 발견되었지만 Hadoop 릴리스 버전에는 포함되어 있지 않다고 생각됩니다. 이 문제를 해결하는 데 정말로 관심이 있으시면

   이것은 알려진 버그이며 여기에 JIRA가 있습니다. 이 버그는 Hadoop 0.21.0에서 발견되었지만 Hadoop 릴리스 버전에는 포함되어 있지 않다고 생각됩니다. 이 문제를 해결하는 데 정말로 관심이 있으시면

   다음은 패치를 적용하는 방법에 대한 지침입니다.

   IdentityMapper와 IdentityReducder를 사용하는 대신에 STDIN에서 k / v 쌍을 읽고 임의의 처리없이 STDOUT에 동일한 k / v 쌍을 쓸 python / perl 스크립트를 사용하십시오. 자신의 IdentityMapper와 Java를 사용하지 않는 IdentityReducder를 만드는 것과 같습니다.

2. ==============================

   2.나 자신의 예제로 Hadoop에서 손을 썼다.하지만 같은 오류가 발생했다. KeyValueTextInputFormat을 사용하여 문제를 해결했습니다. 같은 블로그를 팔로우하면됩니다.

   나 자신의 예제로 Hadoop에서 손을 썼다.하지만 같은 오류가 발생했다. KeyValueTextInputFormat을 사용하여 문제를 해결했습니다. 같은 블로그를 팔로우하면됩니다.

   http://sanketraut.blogspot.in/2012/06/hadoop-example-setting-up-hadoop-on.html

   희망이 당신을 돕는다.

   페터스 힌트 경로

from https://stackoverflow.com/questions/7576985/hadoop-streaming-example-failed-to-run-type-mismatch-in-key-from-map by cc-by-sa and MIT license