[HADOOP] 지도에서 키에 유형 불일치 : 예상 org.apache.hadoop.io.Text, 수신 한 org.apache.hadoop.io.LongWritable
HADOOP지도에서 키에 유형 불일치 : 예상 org.apache.hadoop.io.Text, 수신 한 org.apache.hadoop.io.LongWritable
자바에서 맵 / 감속기를 실행하려고합니다. 내 파일은 다음과 같습니다.
WordCount.java
package counter;
public class WordCount extends Configured implements Tool {
public int run(String[] arg0) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "wordcount");
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
FileInputFormat.addInputPath(job, new Path("counterinput"));
// Erase previous run output (if any)
FileSystem.get(conf).delete(new Path("counteroutput"), true);
FileOutputFormat.setOutputPath(job, new Path("counteroutput"));
job.waitForCompletion(true);
return 0;
}
public static void main(String[] args) throws Exception {
int res = ToolRunner.run(new Configuration(), new WordCount(), args);
System.exit(res);
}
}
WordCountMapper.java
public class WordCountMapper extends
Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, OutputCollector<Text,IntWritable> output, Reporter reporter)
throws IOException, InterruptedException {
System.out.println("hi");
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
output.collect(word, one);
}
}
}
WordCountReducer.java
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values,
OutputCollector<Text,IntWritable> output, Reporter reporter) throws IOException, InterruptedException {
System.out.println("hello");
int sum = 0;
while (values.hasNext()) {
sum += values.next().get();
}
output.collect(key, new IntWritable(sum));
}
}
다음과 같은 오류가 발생합니다.
13/06/23 23:13:25 INFO jvm.JvmMetrics: Initializing JVM Metrics with
processName=JobTracker, sessionId=
13/06/23 23:13:25 WARN mapred.JobClient: Use GenericOptionsParser for parsing the
arguments. Applications should implement Tool for the same.
13/06/23 23:13:26 INFO input.FileInputFormat: Total input paths to process : 1
13/06/23 23:13:26 INFO mapred.JobClient: Running job: job_local_0001
13/06/23 23:13:26 INFO input.FileInputFormat: Total input paths to process : 1
13/06/23 23:13:26 INFO mapred.MapTask: io.sort.mb = 100
13/06/23 23:13:26 INFO mapred.MapTask: data buffer = 79691776/99614720
13/06/23 23:13:26 INFO mapred.MapTask: record buffer = 262144/327680
13/06/23 23:13:26 WARN mapred.LocalJobRunner: job_local_0001
java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text,
recieved org.apache.hadoop.io.LongWritable
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:845)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.java:541)
at org.
apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80)
at org.apache.hadoop.mapreduce.Mapper.map(Mapper.java:124)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
13/06/23 23:13:27 INFO mapred.JobClient: map 0% reduce 0%
13/06/23 23:13:27 INFO mapred.JobClient: Job complete: job_local_0001
13/06/23 23:13:27 INFO mapred.JobClient: Counters: 0
나는 Mapper와 감속기 클래스를 찾을 수 없다고 생각합니다. 나는 메인 클래스에 코드를 작성했다. 기본 매퍼 및 감속기 클래스를 가져오고 있습니다.
해결법
-
==============================
1.코드에 다음 두 줄을 추가하십시오.
코드에 다음 두 줄을 추가하십시오.
job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class);
기본적으로 LongWritable 키와 Text 값을 내보내는 TextOutputFormat을 사용하고 있지만 키는 Text, 값은 IntWritable입니다. 이것을 가족에게 말해야합니다.
HTH
-
==============================
2.이것은 귀하의 문제가되지 않을 수도 있지만 한 번 바보 같은 문제가있었습니다. 기존 라이브러리와 새 라이브러리를 혼합하지 않았는지 확인하십시오 (예 : mapred vs mapreduce). 지도에 @ 주석을 달아 메소드를 줄입니다. 오류가 표시되면 메서드를 제대로 재정의하지 못합니다.
이것은 귀하의 문제가되지 않을 수도 있지만 한 번 바보 같은 문제가있었습니다. 기존 라이브러리와 새 라이브러리를 혼합하지 않았는지 확인하십시오 (예 : mapred vs mapreduce). 지도에 @ 주석을 달아 메소드를 줄입니다. 오류가 표시되면 메서드를 제대로 재정의하지 못합니다.
-
==============================
3.내 코드 (오타 :)에 부적절한 매퍼 클래스 설정으로 인해 유사한 예외 스택 추적이 발생했습니다.
내 코드 (오타 :)에 부적절한 매퍼 클래스 설정으로 인해 유사한 예외 스택 추적이 발생했습니다.
job.setMapperClass(Mapper.class) // Set to org.apache.hadoop.mapreduce.Mapper due to type
실수로 mapreduce 패키지의 Mapper 클래스를 사용하고 있었고,이를 사용자 정의 mapper 클래스로 변경했습니다.
job.setMapperClass(LogProcMapperClass.class) // LogProcMapperClass is my custom mapper.
mapper 클래스를 수정 한 후에 예외가 해결되었습니다.
-
==============================
4.코드에서 제거하면 문제가 해결됩니다.
코드에서 제거하면 문제가 해결됩니다.
super.map(key, value, context);
from https://stackoverflow.com/questions/17262188/type-mismatch-in-key-from-map-expected-org-apache-hadoop-io-text-recieved-org by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop과 java 명령을 사용하여 map-reduce 작업을 실행하는 것의 차이점 (0) | 2019.06.10 |
---|---|
[HADOOP] Apache PIG에서 연산자와 같은 조건부 IF가 있습니까? (0) | 2019.06.10 |
[HADOOP] 성능을 높이기 위해 사용 된 인스턴스의 수에 따라 hadoop에서 매퍼와 리듀서를 늘리는 방법은 무엇입니까? (0) | 2019.06.10 |
[HADOOP] 감속기에서 데이터 스큐를 처리하는 Hadoop (0) | 2019.06.10 |
[HADOOP] Hive (JSON 파일)를 사용하여 Hbase에 데이터 삽입 (0) | 2019.06.10 |