복붙노트

[HADOOP] 결합기가 여러 매퍼의 결과에서 작동합니까?

HADOOP

결합기가 여러 매퍼의 결과에서 작동합니까?

동일한 노드에서 여러 맵퍼가 실행되면 결합기가 여러 맵퍼의 결과를 결합합니까?

문서 나 책에서 이에 대한 답변을 찾을 수 없습니다. 그리고 내가 찾을 수있는 결합기 예제는 하나의 매퍼에서만 결과를 집계 할 수 있다고하더라도 차이를 만드는 것처럼 보입니다.

해결법

  1. ==============================

    1.야후의 하둡 튜토리얼에서 :

    야후의 하둡 튜토리얼에서 :

    따라서 귀하의 질문에 대답하기 위해 그렇습니다.

  2. ==============================

    2.Yahoo의 튜토리얼 (Leonard의 답변에서 언급)의 문구가 잘못된 것으로 보입니다.

    Yahoo의 튜토리얼 (Leonard의 답변에서 언급)의 문구가 잘못된 것으로 보입니다.

    현재로서는 모든지도 작업에 대한 결합기를 얻습니다. 이 질문에서 제안한 기능은 아직 개발 중입니다 : https://issues.apache.org/jira/browse/MAPREDUCE-4502

  3. from https://stackoverflow.com/questions/21719308/does-combiner-work-on-results-from-multiple-mappers by cc-by-sa and MIT license