[HADOOP] MapReduce 프레임 워크는 정렬 단계를 어떻게 구현합니까?
HADOOPMapReduce 프레임 워크는 정렬 단계를 어떻게 구현합니까?
MapReduce 정렬 단계의 구현에 관심이 있습니다. 매우 효율적으로 보인다. 누군가 제발 그것에 대한 몇 가지 참조를 제공 할 수 있을까요? 감사!
해결법
-
==============================
1.이는 ReduceTask.java가 정렬 단계가 코딩 된 위치를 가리 킵니다. ReduceTask.java의 393-408 행을 참조하십시오. 더 많은 정보가 필요하다면, 전체 소스를 다운로드하고 파헤쳐보십시오.
이는 ReduceTask.java가 정렬 단계가 코딩 된 위치를 가리 킵니다. ReduceTask.java의 393-408 행을 참조하십시오. 더 많은 정보가 필요하다면, 전체 소스를 다운로드하고 파헤쳐보십시오.
편집 됨
hadoop book에서 아래의 그림과 같이 ReduceTask 아래에 "Sort"단계가 있습니다. (페이지 163 : 페이지)
from https://stackoverflow.com/questions/9363761/how-does-mapreduce-framework-implement-the-sort-phase by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 파티셔닝을 통해 임팔라에서 데이터 지역을 제어합니다. (0) | 2019.07.30 |
---|---|
[HADOOP] OOZIE 쉘 노드의 쉘 스크립트에 Jar 파일을 전달하는 방법 (0) | 2019.07.30 |
[HADOOP] 아파치 돼지에서 리눅스 'diff'와 동등 (0) | 2019.07.29 |
[HADOOP] DynamoDB InputFormat for Hadoop (0) | 2019.07.29 |
[HADOOP] hadoop 데이터 노드를 정상적으로 시작할 수 없습니다. (0) | 2019.07.29 |