[HADOOP] Hadoop-Reducer가 매퍼 입력을 기다리고 있습니까?

Hadoop-Reducer가 매퍼 입력을 기다리고 있습니까?

제목에서 설명한 것처럼 하둡 프로그램을 실행하고 로컬 모드에서 디버깅하면 다음이 발생합니다.

1. 테스트 데이터에서 10 개의 csv 라인이 모두 맵퍼 이후에 호출되는 Mapper, Partitioner 및 RawComperator (OutputKeyComparatorClass)에서 올바르게 처리됩니다. 그러나 OutputValueGroupingComparatorClass 및 ReduceClass의 함수는 나중에 실행되지 않습니다.

해결법

1. ==============================

   1.죄송합니다. 이전에 본 적이 없지만 다음 로그 문으로 표시되는 것처럼 conf xml 파일에서 두 가지 중요한 구성 속성을 final로 설정 한 것으로 보입니다.

   죄송합니다. 이전에 본 적이 없지만 다음 로그 문으로 표시되는 것처럼 conf xml 파일에서 두 가지 중요한 구성 속성을 final로 설정 한 것으로 보입니다.

   이는 작업이 실제로 로컬 모드에서 실행될 수없고 로컬 모드에서 시작하지만 리듀서는 직렬화 된 작업 구성을 읽고 로컬 모드가 아닌 것으로 판별 한 후 태스크 추적기 포트를 통해 맵 출력을 페치하려고 시도했음을 의미합니다.

   수정 사항이 conf 폴더의 이름을 바꾸는 것이라고 말했습니다. 기본적으로이 두 속성이 '최종'으로 표시되지 않은 기본 구성으로 돌아갑니다.

from https://stackoverflow.com/questions/10720132/hadoop-reducer-is-waiting-for-mapper-inputs by cc-by-sa and MIT license