복붙노트

[HADOOP] 새로운 Hadoop API의 identityreducer

HADOOP

새로운 Hadoop API의 identityreducer

거의 하루 만 보냈지 만 새 Hadoop API에서 IdentityReducer를 사용하는 방법을 알 수 없었습니다. 찾을 수있는 모든 참조 또는 클래스는 이전 API를 사용합니다. 그리고 분명히 새로운 API 코드베이스에서 이전 API idetntitreducer 클래스를 섞어 놓는 것은 잘되지 않습니다. 어떤 도움을 주시면 감사하겠습니다.

해결법

  1. ==============================

    1.주로 새로운 API Mapper와 Reducer는 인터페이스가 아닌 클래스이므로 IdentityMapper / Reducer의 새로운 대체품입니다.

    주로 새로운 API Mapper와 Reducer는 인터페이스가 아닌 클래스이므로 IdentityMapper / Reducer의 새로운 대체품입니다.

    따라서 Mapper.class와 Reducer.class를 사용하여 ID를 가져와야합니다.

  2. ==============================

    2.보세요 :

    보세요 :

    http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html

    그것의 hadoop 안정 버전

  3. ==============================

    3.하둡 스트리밍 - 하둡 1.0.2

    하둡 스트리밍 - 하둡 1.0.2

    이 명령에 따르면

    -x org.apache.hadoop.mapred.lib.IdentityX
    

    여기서 x는 매퍼 또는 감속기이고 X는 매퍼 또는 감속기입니다.

    나는 내 자신을 시험하고 일한다.

  4. from https://stackoverflow.com/questions/9746932/identityreducer-in-the-new-hadoop-api by cc-by-sa and MIT license