[HADOOP] Hadoop : MapReduce 동안 OutputCollector는 어떻게 작동합니까?

Hadoop : MapReduce 동안 OutputCollector는 어떻게 작동합니까?

OutputCollector의 '인스턴스'출력이지도 함수에 사용되었는지 알고 싶습니다. output.collect (key, value) 이 - 출력 - 키 값 쌍을 어딘가에 저장하고 있을까요? 감속기 기능으로 내보내도 중간 파일이어야합니다. 맞습니까? 그 파일들은 무엇입니까? 그들은 눈에 보이고 프로그래머에 의해 결정됩니까? 주 기능에서 지정하는 OutputKeyClass 및 OutputValueClasses가 이러한 저장소의 위치입니까? [Text.class 및 IntWritable.class]

우리가 그물의 많은 장소에서 찾을 수있는 MapReduce의 Word Count 예제에 대한 표준 코드를 제공합니다.

public class WordCount {

public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
output.collect(word, one);
}
}
}

public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
int sum = 0;
while (values.hasNext()) {
sum += values.next().get();
}
output.collect(key, new IntWritable(sum));
}
}

public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");

conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(IntWritable.class);

conf.setMapperClass(Map.class);
conf.setCombinerClass(Reduce.class);
conf.setReducerClass(Reduce.class);

conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf, new Path(args[0]));
FileOutputFormat.setOutputPath(conf, new Path(args[1]));    
JobClient.runJob(conf);
}
}

해결법

1. ==============================

   1.Map 함수의 출력은 임시 중간 파일에 저장됩니다. 이러한 파일은 Hadoop에 의해 투명하게 처리되므로 일반 시나리오에서는 프로그래머가 액세스 할 수 없습니다. 각 매퍼 내에서 무슨 일이 일어나고 있는지 궁금하다면 각 작업에 대한 로그 파일을 찾을 수있는 해당 작업의 로그를 검토 할 수 있습니다.

   Map 함수의 출력은 임시 중간 파일에 저장됩니다. 이러한 파일은 Hadoop에 의해 투명하게 처리되므로 일반 시나리오에서는 프로그래머가 액세스 할 수 없습니다. 각 매퍼 내에서 무슨 일이 일어나고 있는지 궁금하다면 각 작업에 대한 로그 파일을 찾을 수있는 해당 작업의 로그를 검토 할 수 있습니다.

   임시 파일이 생성되는 위치를 제어하고 그 파일에 액세스 할 수있게하려면 자신 만의 OutputCollector 클래스를 만들어야하며 그 방법이 얼마나 쉬운 지 모릅니다.

   소스 코드를보고 싶다면 svn을 사용하여 소스 코드를 얻을 수 있습니다. 나는 그것이 http://hadoop.apache.org/common/version_control.html에서 이용 가능하다고 생각한다.

2. ==============================

   2.OutputCollector를 구현 한 클래스를 직접 만들지 않는 한 개발자가 임시 위치에 저장되어 개발자에게 제공되지 않는다고 생각합니다.

   OutputCollector를 구현 한 클래스를 직접 만들지 않는 한 개발자가 임시 위치에 저장되어 개발자에게 제공되지 않는다고 생각합니다.

   한때 이러한 파일에 액세스하여 부작용 파일을 작성하여 문제를 해결해야했습니다. http://hadoop.apache.org/common/docs/r0.20.2/mapred_tutorial.html#Task+Side-Effect+Files

3. ==============================

   3.중간의 그룹화 된 출력은 항상 SequenceFiles에 저장됩니다. 응용 프로그램은 중간 출력을 압축할지 여부와 압축 방법 및 JobConf를 통해 사용할 CompressionCodec을 지정할 수 있습니다.

   중간의 그룹화 된 출력은 항상 SequenceFiles에 저장됩니다. 응용 프로그램은 중간 출력을 압축할지 여부와 압축 방법 및 JobConf를 통해 사용할 CompressionCodec을 지정할 수 있습니다.

   http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/Mapper.html

from https://stackoverflow.com/questions/10996963/hadoop-how-does-outputcollector-work-during-mapreduce by cc-by-sa and MIT license