[HADOOP] Hadoop 1.0.4에서 매퍼 / 리듀서를 연결하는 방법은 무엇입니까?

Hadoop 1.0.4에서 매퍼 / 리듀서를 연결하는 방법은 무엇입니까?

하둡 1.0.4의 "새로운"API를 사용하고있었습니다 (패키지 org.apache.hadoop.mapreduce의 클래스). 매퍼 / 리듀서를 연결하고 싶을 때 ChainMapper, ChainReducer가 "오래된"API (패키지 org.apache.hadoop.mapred의 클래스) 용으로 작성된 것을 알았습니다. 어떻게해야합니까?

해결법

1. ==============================

   1.나는 또한 같은 것을 찾고 있었다. 나는 답을 얻었고 늦었지만 이것을 공유하면 누군가를 도울 수 있다고 생각했습니다.

   나는 또한 같은 것을 찾고 있었다. 나는 답을 얻었고 늦었지만 이것을 공유하면 누군가를 도울 수 있다고 생각했습니다.

   Hadoop 2.0부터 org.apache.hadoop.mapreduce.lib.chain 패키지에서 ChainMapper 및 ChainReducer를 찾을 수 있습니다

   ...
   Job job = new Job(conf, "MyJob");
   
   Configuration map1Conf = new Configuration(false); 
   ... ChainMapper.addMapper(job, AMap.class, LongWritable.class, Text.class, Text.class, Text.class, true, map1Conf);
   
   Configuration map2Conf = new Configuration(false); 
   ... ChainMapper.addMapper(job, BMap.class, Text.class, Text.class, LongWritable.class, Text.class, false, map2Conf);
   
   Configuration map3Conf = new Configuration(false); 
   ... ChainReducer.setReducer(job, CReducer.class, Text.class, Text.class, LongWritable.class, Text.class, false, map3Conf);
   ...
   
   job.waitForComplettion(true);
   ... 
   

2. ==============================

   2.이 게시물을 읽으십시오. 여기에서는 두 개의 JobConf를 사용하여 ChainMapper / ChainReducer 대신 Map Reduce Jobs를 연결하는 방법을 보여줍니다.

   이 게시물을 읽으십시오. 여기에서는 두 개의 JobConf를 사용하여 ChainMapper / ChainReducer 대신 Map Reduce Jobs를 연결하는 방법을 보여줍니다.

from https://stackoverflow.com/questions/13499107/how-to-chain-mapper-reducer-in-hadoop-1-0-4 by cc-by-sa and MIT license