[HADOOP] 어떻게지도는 예를 계산 정말 단어에 대한 하둡에서 작업 병렬 처리를 줄일 수 있는가?

어떻게지도는 예를 계산 정말 단어에 대한 하둡에서 작업 병렬 처리를 줄일 수 있는가?

나는 단어가 예를 계산하여 감소 하둡 맵을 배우고, 첨부 된 그림을 참조하십시오

내 질문은 아래에있는 내 이해 / 질문, 병렬 처리가 실제로 발생 방법에 대한 있으며, 만약 내가 잘못 나 수정하시기 바랍니다 :

나는 여러면에서 떨어져 완전히 오전 느낌이 날이 이해를 잘 알고하자?

해결법

1. ==============================

   1.https://hadoop.apache.org/ (당신에게 더 명확 할 수 있도록 나를 조금 세부의 각 단계를 설명하자 나는 가능한 한 짧은을 유지하기 위해 시도했지만 나는 offical 한 문서를 진행하는 데 추천 / r1.2.1 / mapred_tutorial.html) 문서는이 모든 과정에 대해 좋은 느낌을 얻을 수 있습니다

   https://hadoop.apache.org/ (당신에게 더 명확 할 수 있도록 나를 조금 세부의 각 단계를 설명하자 나는 가능한 한 짧은을 유지하기 위해 시도했지만 나는 offical 한 문서를 진행하는 데 추천 / r1.2.1 / mapred_tutorial.html) 문서는이 모든 과정에 대해 좋은 느낌을 얻을 수 있습니다

   I는 다음과 같이 처리 실제 클래스가 참조하여 설명하여 그 공정을 설명하기위한 시도 단계 4 단계 5 단계 3에서 조금 혼합했다.

   
       Black,1
       Black,1
       Black,1
       Blue,1
       Blue,1
       .
       .
       and so on 
   

   이제이 같은 클래스는 감속기에 당신이 당신의 예의 경우에 그들을 반복자를 사용할 수 있도록 키를 따라 값을 그룹화에도 사용됩니다 ->

   Black -> {1,1,1}   
   Blue -> {1,1,1,1,1,1}
   Green -> {1,1,1,1,1}
   .
   .
   and so on
   

   이제 당신이 알고 싶은 것과 맵퍼 및 감속기도 매퍼 전에 그러나 그 사이의 intermediae 단계는 그 정도와 관계있는없는 효과도 다른 의미가있다.

   나는이 쿼리를 해결하기 바랍니다.

2. ==============================

   2.당신의 그림은 정확히 맵리 듀스에서 계산의 기본 단어를 표시하지 않습니다. 특히, '병합 단계 1'후 물건 환원 단계를 병렬 맵리 듀스 방법을 이해하는 측면에서 오해의 소지가있다. 더 나은 다이어그램, IMO, https://dzone.com/articles/word-count-hello-word-program-in-mapreduce에서 찾을 수 있습니다

   당신의 그림은 정확히 맵리 듀스에서 계산의 기본 단어를 표시하지 않습니다. 특히, '병합 단계 1'후 물건 환원 단계를 병렬 맵리 듀스 방법을 이해하는 측면에서 오해의 소지가있다. 더 나은 다이어그램, IMO, https://dzone.com/articles/word-count-hello-word-program-in-mapreduce에서 찾을 수 있습니다

   후자의 다이어그램에 매퍼 '출력 감속기와 노드에서이 키를 기반으로 단행 한 후 출력 키에 의해 정렬됩니다 마자 다음 감속기 쉽게 병렬로 실행할 수 있다는 것을 쉽게 알 수있다.

from https://stackoverflow.com/questions/42347045/how-does-map-reduce-parallel-processing-really-work-in-hadoop-with-respect-to-th by cc-by-sa and MIT license