복붙노트

[HADOOP] Hadoop에서의 RecordReader 작업

HADOOP

Hadoop에서의 RecordReader 작업

누구든지 RecordReader가 실제로 어떻게 작동하는지 설명 할 수 있습니까? 프로그램이 실행되기 시작하면 nextkeyvalue (), getCurrentkey () 및 getprogress () 메서드는 어떻게 작동합니까?

해결법

  1. ==============================

    1.(새 API) : 기본 매퍼 클래스에는 다음과 같은 run 메소드가 있습니다.

    (새 API) : 기본 매퍼 클래스에는 다음과 같은 run 메소드가 있습니다.

    public void run(Context context) throws IOException, InterruptedException {
        setup(context);
        while (context.nextKeyValue()) {
            map(context.getCurrentKey(), context.getCurrentValue(), context);
        }
        cleanup(context);
    }
    

    Context.nextKeyValue (), Context.getCurrentKey () 및 Context.getCurrentValue () 메서드는 RecordReader 메서드에 대한 래퍼입니다. src / mapred / org / apache / hadoop / mapreduce / MapContext.java 소스 파일을 참조하십시오.

    따라서이 루프는 Mapper 구현의 map (K, V, Context) 메소드를 실행하고 호출합니다.

    특히 무엇을 알고 싶습니까?

  2. ==============================

    2.org.apache.hadoop.mapred.MapTask - runNewMapper ()

    org.apache.hadoop.mapred.MapTask - runNewMapper ()

    임프 단계 :

  3. from https://stackoverflow.com/questions/10943472/working-of-recordreader-in-hadoop by cc-by-sa and MIT license