[HADOOP] Hadoop MapReduce : 기본 매퍼 수

Hadoop MapReduce : 기본 매퍼 수

매퍼의 수를 지정하지 않으면 번호는 어떻게 결정됩니까? 구성 파일 (예 : mapred-site.xml)에서 읽는 기본 설정이 있습니까?

해결법

1. ==============================

   1.Chris가 위에 추가 한 것에 더 추가 :

   Chris가 위에 추가 한 것에 더 추가 :

   마지막으로 맵의 수를 제어하는 ​​것은 미묘합니다. mapred.map.tasks 매개 변수는지도의 개수에 대한 InputFormat의 힌트 일뿐입니다. 기본 InputFormat 비헤이비어는 총 바이트 수를 올바른 조각 수로 분할하는 것입니다. 그러나 디폴트 경우에 입력 파일의 DFS 블록 크기는 입력 분할의 상한으로 처리됩니다. 분할 크기의 하한값은 mapred.min.split.size를 통해 설정할 수 있습니다.

   따라서 10TB의 입력 데이터가 필요하고 128MB의 DFS 블록이 있으면 mapred.map.task가 더 큰 경우가 아니라면 82k의 맵이 생성됩니다. 궁극적으로 InputFormat은 맵의 수를 결정합니다.

   더 읽기 : http://wiki.apache.org/hadoop/HowManyMapsAndReduces

2. ==============================

   2.그것은 여러 가지 요인에 달려 있습니다 :

   그것은 여러 가지 요인에 달려 있습니다 :

   아마 더 많은 것들이있을 것입니다.

from https://stackoverflow.com/questions/10591278/hadoop-mapreduce-default-number-of-mappers by cc-by-sa and MIT license