[HADOOP] 새로운 Hadoop API의 identityreducer
HADOOP새로운 Hadoop API의 identityreducer
거의 하루 만 보냈지 만 새 Hadoop API에서 IdentityReducer를 사용하는 방법을 알 수 없었습니다. 찾을 수있는 모든 참조 또는 클래스는 이전 API를 사용합니다. 그리고 분명히 새로운 API 코드베이스에서 이전 API idetntitreducer 클래스를 섞어 놓는 것은 잘되지 않습니다. 어떤 도움을 주시면 감사하겠습니다.
해결법
-
==============================
1.주로 새로운 API Mapper와 Reducer는 인터페이스가 아닌 클래스이므로 IdentityMapper / Reducer의 새로운 대체품입니다.
주로 새로운 API Mapper와 Reducer는 인터페이스가 아닌 클래스이므로 IdentityMapper / Reducer의 새로운 대체품입니다.
따라서 Mapper.class와 Reducer.class를 사용하여 ID를 가져와야합니다.
-
==============================
2.보세요 :
보세요 :
http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html
그것의 hadoop 안정 버전
-
==============================
3.하둡 스트리밍 - 하둡 1.0.2
하둡 스트리밍 - 하둡 1.0.2
이 명령에 따르면
-x org.apache.hadoop.mapred.lib.IdentityX
여기서 x는 매퍼 또는 감속기이고 X는 매퍼 또는 감속기입니다.
나는 내 자신을 시험하고 일한다.
from https://stackoverflow.com/questions/9746932/identityreducer-in-the-new-hadoop-api by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡의 매퍼 입력 키 - 값 쌍 (0) | 2019.06.14 |
---|---|
[HADOOP] 권한이 거부되어 "hadoop fs -mkdir"이 실패하는 이유는 무엇입니까? (0) | 2019.06.14 |
[HADOOP] 하이브 란 무엇입니까? 데이터베이스입니까? [닫은] (0) | 2019.06.14 |
[HADOOP] HIVE 중첩 ARRAY MAP 데이터 형식 (0) | 2019.06.14 |
[HADOOP] hadoop에서 nameservice에 대한 활성 namenode를 가져 오는 명령은 무엇입니까? (0) | 2019.06.14 |