[HADOOP] 오류 : java.io.IOException : 잘못된 값 클래스 : class org.apache.hadoop.io.Text가 클래스 Myclass가 아닙니다.

오류 : java.io.IOException : 잘못된 값 클래스 : class org.apache.hadoop.io.Text가 클래스 Myclass가 아닙니다.

나는 매퍼 (mapper)와 리듀서 (reducers)를 다음과 같이 가지고있다. 하지만 이상한 예외가 생기고 있습니다. 나는 왜 그것이 그런 종류의 예외를 던지고 있는지를 알 수 없다.

public static class MyMapper implements Mapper<LongWritable, Text, Text, Info> {

    @Override
    public void map(LongWritable key, Text value,
        OutputCollector<Text, Info> output, Reporter reporter)
        throws IOException {
        Text text = new Text("someText")
            //process 
        output.collect(text, infoObjeject);
    }

}

public static class MyReducer implements Reducer<Text, Info, Text, Text> {

    @Override
    public void reduce(Text key, Iterator<Info> values,
        OutputCollector<Text, Text> output, Reporter reporter)
        throws IOException {
        String value = "xyz" //derived in some way
        //process
        output.collect(key, new Text(value)); //exception occurs at this line
    }

}

System.out.println("Starting v14 ");
JobConf conf = new JobConf(RouteBuilderJob.class);
conf.setJobName("xyz");

String jarLocation =ClassUtil.findContainingJar(getClass());

System.out.println("path of jar file = " + jarLocation);

conf.setJarByClass(RouteBuilderJob.class);

conf.setMapOutputKeyClass(Text.class);
conf.setMapOutputValueClass(Info.class);

conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(Text.class);

//am i missing something here???

conf.setMapperClass(RouteBuilderJob.RouteMapper.class);
conf.setCombinerClass(RouteBuilderJob.RouteReducer.class);
conf.setReducerClass(RouteBuilderJob.RouteReducer.class);


conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));

JobClient.runJob(conf);

나는 예외를 얻고있다 :

Error: java.io.IOException: wrong value class: class org.apache.hadoop.io.Text is not class com.xyz.mypackage.Info
at org.apache.hadoop.mapred.IFile$Writer.append(IFile.java:199)
at org.apache.hadoop.mapred.Task$CombineOutputCollector.collect(Task.java:1307)
at com.xyz.mypackage.job.MyJob$RouteReducer.reduce(MyJob.java:156)
at com.xyz.mypackage.job.MyJob$RouteReducer.reduce(MyJob.java:1)

내부적으로 정보 객체 (Writable를 구현)가 Text를 사용하여 직렬화됩니다.

@Override
public void write(DataOutput out) throws IOException {
    Gson gson = new Gson();
    String searlizedStr = gson.toJson(this);
    Text.writeString(out, searlizedStr);
}

@Override
public void readFields(DataInput in) throws IOException {
    String s = Text.readString(in);
    Gson gson = new Gson();
    JsonReader jsonReader = new JsonReader(new StringReader(s));
    jsonReader.setLenient(true);

Info info = gson.fromJson(jsonReader, Info.class);
    //set fields using this.somefield = info.getsomefield() 
}

해결법

1. ==============================

   1.기술적으로 출력 감소 유형은 입력 유형과 동일해야합니다. 결합기의 출력이 감속기에 공급 될 때 결합기를 사용하는 경우에는이 사실이 맞아야합니다.

   기술적으로 출력 감소 유형은 입력 유형과 동일해야합니다. 결합기의 출력이 감속기에 공급 될 때 결합기를 사용하는 경우에는이 사실이 맞아야합니다.

from https://stackoverflow.com/questions/21377011/error-java-io-ioexception-wrong-value-class-class-org-apache-hadoop-io-text-i by cc-by-sa and MIT license