[HADOOP] 셔플 링 단계는 실제로 무엇을합니까?

셔플 링 단계는 실제로 무엇을합니까?

셔플 링 단계는 실제로 무엇을합니까?

A) 셔플 링은 매퍼 o / p를 감속기 o / p로 가져 오는 프로세스이므로, 파티셔너에서 작성된 코드를 기반으로 특정 감속기의 특정 키를 매퍼에서 가져옵니다.

제 파티셔에서는 'a'로 시작하는 모든 키가 감속기 1로 가고 'b'로 시작하는 모든 키는 감속기 2로 갈 것이므로 o / p는 다음과 같을 것이라고 썼습니다 :

B) 또는 위의 프로세스와 함께 키도 그룹화합니까?

따라서 o / p는 다음과 같습니다.

내 의견으로는 그것이 단지 정렬되어야한다고 생각합니다. 정렬은 정렬 이후에 이루어져야합니다. 왜냐하면 하나의 키가 끝나고 다른 키가 시작될 때 감속기가 쉽게 지적 할 수 있기 때문입니다. 그렇다면 실제로 키를 마비시키는 일이 언제 발생합니까?

감사

해결법

from https://stackoverflow.com/questions/44351229/what-does-the-shuffling-phase-actually-do by cc-by-sa and MIT license