[HADOOP] Hadoop에서의 RecordReader 작업

Hadoop에서의 RecordReader 작업

누구든지 RecordReader가 실제로 어떻게 작동하는지 설명 할 수 있습니까? 프로그램이 실행되기 시작하면 nextkeyvalue (), getCurrentkey () 및 getprogress () 메서드는 어떻게 작동합니까?

해결법

1. ==============================

   1.(새 API) : 기본 매퍼 클래스에는 다음과 같은 run 메소드가 있습니다.

   (새 API) : 기본 매퍼 클래스에는 다음과 같은 run 메소드가 있습니다.

   public void run(Context context) throws IOException, InterruptedException {
       setup(context);
       while (context.nextKeyValue()) {
           map(context.getCurrentKey(), context.getCurrentValue(), context);
       }
       cleanup(context);
   }
   

   Context.nextKeyValue (), Context.getCurrentKey () 및 Context.getCurrentValue () 메서드는 RecordReader 메서드에 대한 래퍼입니다. src / mapred / org / apache / hadoop / mapreduce / MapContext.java 소스 파일을 참조하십시오.

   따라서이 루프는 Mapper 구현의 map (K, V, Context) 메소드를 실행하고 호출합니다.

   특히 무엇을 알고 싶습니까?

2. ==============================

   2.org.apache.hadoop.mapred.MapTask - runNewMapper ()

   org.apache.hadoop.mapred.MapTask - runNewMapper ()

   임프 단계 :

from https://stackoverflow.com/questions/10943472/working-of-recordreader-in-hadoop by cc-by-sa and MIT license