[HADOOP] MR 작업의 다양한 단계의 올바른 순서?

MR 작업의 다양한 단계의 올바른 순서?

나는 MR 작업을 통해가는 다양한 단계를 이해하려고 노력하고 있습니다. 저도 같은에 대한 온라인 문서를 참조하십시오.

이를 바탕으로, 순서에 이해의 나은 다음과 같습니다 :

지도 () -> 파티션 설정 -> (매퍼 기계에) 정렬 -> 셔플 -> (감속기 기계에) 정렬 -> (감속기 기계에서) (키) GROUPBY -> (감소)

이것은 MR 작업이 실행하는 올바른 순서인가?

해결법

1. ==============================

   1.지도의 다양한 단계는 작업을 줄일 수 :

   지도의 다양한 단계는 작업을 줄일 수 :

   지도 상 :

   파티션 상

   셔플 상

   정렬 단계

   상을 줄

2. ==============================

   2.지도의 타임 라인 작업 감소

   지도의 타임 라인 작업 감소

   MapTask에 대한 타임 라인

   ReduceTask에 대한 타임 라인

   이미지 출처 : https://www.slideshare.net/EmilioCoppa/hadoop-internals

from https://stackoverflow.com/questions/49187138/correct-order-of-various-phases-of-mr-job by cc-by-sa and MIT license