[HADOOP] hadoop : 0 감속기와 신원 감속기의 차이점은 무엇입니까?

hadoop : 0 감속기와 신원 감속기의 차이점은 무엇입니까?

나는 단지 0 감속기와 신원 감속기의 차이에 대한 나의 이해를 확인하려고 노력하고있다.

해결법

1. ==============================

   1.너는 이해가 정확하다. 나는 그것을 다음과 같이 정의 할 것이다. 지도 결과를 정렬 할 필요가없는 경우 0을 줄이고 작업은지도라고 부릅니다. 매핑 결과를 정렬해야하지만 집계가 필요하지 않은 경우 ID 축소기를 선택합니다. 그리고 그림을 완성하기 위해 세 번째 사례가 있습니다. 우리는 집계가 필요하며,이 경우에는 감속기가 필요합니다.

   너는 이해가 정확하다. 나는 그것을 다음과 같이 정의 할 것이다. 지도 결과를 정렬 할 필요가없는 경우 0을 줄이고 작업은지도라고 부릅니다. 매핑 결과를 정렬해야하지만 집계가 필요하지 않은 경우 ID 축소기를 선택합니다. 그리고 그림을 완성하기 위해 세 번째 사례가 있습니다. 우리는 집계가 필요하며,이 경우에는 감속기가 필요합니다.

2. ==============================

   2.신원 감속기를 사용하는 또 다른 유스 케이스는 모든 결과를 <감속기> 출력 파일로 결합하는 것입니다. 특히 Amazon Web Services를 사용하여 S3에 직접 쓰는 경우, 특히 매퍼 출력이 작거나 (예 : grep / 레코드 검색) 사용자가 매퍼 (예 : 1000)를 많이 사용하는 경우 편리 할 수 ​​있습니다.

   신원 감속기를 사용하는 또 다른 유스 케이스는 모든 결과를 <감속기> 출력 파일로 결합하는 것입니다. 특히 Amazon Web Services를 사용하여 S3에 직접 쓰는 경우, 특히 매퍼 출력이 작거나 (예 : grep / 레코드 검색) 사용자가 매퍼 (예 : 1000)를 많이 사용하는 경우 편리 할 수 ​​있습니다.

3. ==============================

   3.비즈니스 요구 사항에 따라 다릅니다. 단어 수를 계산하는 경우 전체 결과를 얻으려면지도 출력을 줄여야합니다. 단어를 대문자로 변경하려는 경우에는 줄일 필요가 없습니다.

   비즈니스 요구 사항에 따라 다릅니다. 단어 수를 계산하는 경우 전체 결과를 얻으려면지도 출력을 줄여야합니다. 단어를 대문자로 변경하려는 경우에는 줄일 필요가 없습니다.

4. ==============================

   4.IdentityReducer (mapred.reduce.tasks = 1 등) 인 "No Reducer"(mapred.reduce.tasks = 0)와 "Standard reducer"의 주요 차이점은 "감속기 없음"을 사용할 때 MAP 후 분할 및 셔플 링 프로세스가없는 것입니다 단계. 따라서이 경우 추가 처리없이 맵퍼에서 '순수한'출력을 얻을 수 있습니다. puproses를 개발하고 디버깅하는 데 도움이됩니다.

   IdentityReducer (mapred.reduce.tasks = 1 등) 인 "No Reducer"(mapred.reduce.tasks = 0)와 "Standard reducer"의 주요 차이점은 "감속기 없음"을 사용할 때 MAP 후 분할 및 셔플 링 프로세스가없는 것입니다 단계. 따라서이 경우 추가 처리없이 맵퍼에서 '순수한'출력을 얻을 수 있습니다. puproses를 개발하고 디버깅하는 데 도움이됩니다.

from https://stackoverflow.com/questions/10630447/hadoop-difference-between-0-reducer-and-identity-reducer by cc-by-sa and MIT license