[HADOOP] 결합기가 여러 매퍼의 결과에서 작동합니까?
HADOOP결합기가 여러 매퍼의 결과에서 작동합니까?
동일한 노드에서 여러 맵퍼가 실행되면 결합기가 여러 맵퍼의 결과를 결합합니까?
문서 나 책에서 이에 대한 답변을 찾을 수 없습니다. 그리고 내가 찾을 수있는 결합기 예제는 하나의 매퍼에서만 결과를 집계 할 수 있다고하더라도 차이를 만드는 것처럼 보입니다.
해결법
-
==============================
1.야후의 하둡 튜토리얼에서 :
야후의 하둡 튜토리얼에서 :
따라서 귀하의 질문에 대답하기 위해 그렇습니다.
-
==============================
2.Yahoo의 튜토리얼 (Leonard의 답변에서 언급)의 문구가 잘못된 것으로 보입니다.
Yahoo의 튜토리얼 (Leonard의 답변에서 언급)의 문구가 잘못된 것으로 보입니다.
현재로서는 모든지도 작업에 대한 결합기를 얻습니다. 이 질문에서 제안한 기능은 아직 개발 중입니다 : https://issues.apache.org/jira/browse/MAPREDUCE-4502
from https://stackoverflow.com/questions/21719308/does-combiner-work-on-results-from-multiple-mappers by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop 2 + YARN에서 동시 맵퍼 및 # 리듀서는 어떻게 계산됩니까? (0) | 2019.09.11 |
---|---|
[HADOOP] auxService : mapreduce_shuffle이 존재하지 않습니다 (0) | 2019.09.11 |
[HADOOP] hadoop NullPointerException (0) | 2019.09.11 |
[HADOOP] 최상의 MapReduce 작업 성능을 위해 HDFS의 파일 크기는 얼마입니까? (0) | 2019.09.11 |
[HADOOP] AWS EC2에서 루트 파티션 확장 (0) | 2019.09.11 |