[HADOOP] 지도 전용 작업에 셔플 및 정렬이 있습니까?

지도 전용 작업에 셔플 및 정렬이 있습니까?

shuffle 및 정렬 단계가 맵 작업이 끝나기 전에 이루어 지거나 출력이 맵 작업에서 생성 된 후 맵 작업으로 돌아 가지 않게됩니다. 이것은 혼란을 가져 오는 '지도 전용 작업'사례입니다. Map Only 작업에 셔플 및 정렬이없는 경우 누군가가 최종 출력 파일에 데이터를 기록하는 방법을 설명 할 수 있습니까?

해결법

1. ==============================

   1.지도 전용 작업을 수행하면 매퍼 링이 전혀 수행되지 않으므로 매퍼가 최종 출력물을 HDFS에 직접 작성합니다.

   지도 전용 작업을 수행하면 매퍼 링이 전혀 수행되지 않으므로 매퍼가 최종 출력물을 HDFS에 직접 작성합니다.

   다른 한편, 맵퍼 및 리듀서가있는 Map-Reduce 전체 프로그램을 사용하는 경우 단계 이동을 시작하기 전에 셔플을 시작할 수 있습니다.

   그래서이 아주 좋은 대답을 인용 :

   희망이 답변은 혼란을 명확히했다.

from https://stackoverflow.com/questions/42621466/will-there-be-shuffle-and-sort-in-map-only-task by cc-by-sa and MIT license