[HADOOP] 맵 감소 기 수 감소

맵 감소 기 수 감소

MR에서 드라이버 클래스에 3 개의 감속기를 설정했습니다.

세 개의 파티션이 생성됨을 의미합니다.

그러나 매퍼는 남성과 여성의 두 가지 고유 키 만 방출합니다.

이 경우 감속기와 감속 기능이 몇 번 실행됩니까?

해결법

1. ==============================

   1.귀하의 질문은 약간 모호하지만, 발생할 수있는 일에 대한 두 가지 설명을 생각해 낼 수 있습니다.

   귀하의 질문은 약간 모호하지만, 발생할 수있는 일에 대한 두 가지 설명을 생각해 낼 수 있습니다.

2. ==============================

   2.감속기를 3 개 설정하면 모두 작동합니다. 그러나 최대 두 개의 키만있는 경우 최대 두 개의 감속기가 실제로 처리 할 데이터를 수신합니다.

   감속기를 3 개 설정하면 모두 작동합니다. 그러나 최대 두 개의 키만있는 경우 최대 두 개의 감속기가 실제로 처리 할 데이터를 수신합니다.

from https://stackoverflow.com/questions/37972288/number-of-reducer-in-map-reduce by cc-by-sa and MIT license