[HADOOP] MapReduce 셔플 / 정렬 방법

MapReduce 셔플 / 정렬 방법

다소 이상한 질문이지만, MapReduce가 셔플 / 정렬의 정렬 부분에서 어떤 종류의 정렬을 사용하는지 알 수 있습니까? Merge 나 Insert (전체 MapReduce 패러다임을 유지하면서)라고 생각 하겠지만 확실하지는 않습니다.

해결법

1. ==============================

   1.그것은 Quicksort, 이후에 정렬 된 중간 출력이 함께 병합됩니다. Quicksort는 재귀 깊이를 확인하고 너무 깊을 때 포기합니다. 이 경우 Heaport가 사용됩니다.

   그것은 Quicksort, 이후에 정렬 된 중간 출력이 함께 병합됩니다. Quicksort는 재귀 깊이를 확인하고 너무 깊을 때 포기합니다. 이 경우 Heaport가 사용됩니다.

   Quicksort 클래스를 살펴보십시오.

   org.apache.hadoop.util.QuickSort
   

   hadoop-default.xml에서 map.sort.class 값을 통해 사용 된 알고리즘을 변경할 수 있습니다.

2. ==============================

   2.더 깊이있는 내용을 더 자세히 읽으려면 게시물에 대해 자유롭게 읽어보십시오. Map-Reduce : 블로그에서 임의로 정렬 및 정렬 : Hadoop : 몇 가지 주요 내용

   더 깊이있는 내용을 더 자세히 읽으려면 게시물에 대해 자유롭게 읽어보십시오. Map-Reduce : 블로그에서 임의로 정렬 및 정렬 : Hadoop : 몇 가지 주요 내용

from https://stackoverflow.com/questions/5779750/mapreduce-shuffle-sort-method by cc-by-sa and MIT license