[HADOOP] 각 Hadoop 매퍼가 읽을 기본 크기는 얼마입니까?
HADOOP각 Hadoop 매퍼가 읽을 기본 크기는 얼마입니까?
HDFS의 블록 크기는 64MB입니까? 그것을 변경하는 데 사용할 수있는 구성 매개 변수가 있습니까?
gzip 파일을 읽는 mapper의 경우 gzip 파일 수가 매퍼 수와 같아야합니다.
해결법
-
==============================
1.이것은 당신에 의존합니다 :
이것은 당신에 의존합니다 :
따라서 64MB의 블록 크기를 가진 파일이 있지만 맵 작업 당 이보다 더 많거나 적게 처리하려는 경우에는 다음 작업 구성 속성 만 설정하면됩니다.
MR2 / YARN을 사용하는 경우 위의 속성은 더 이상 사용되지 않으며 다음으로 대체됩니다.
from https://stackoverflow.com/questions/17852838/what-is-the-default-size-that-each-hadoop-mapper-will-read by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
| [HADOOP] 인터셉터를 사용하여 Flume에서 로그 파일 필터링하기 (0) | 2019.06.16 |
|---|---|
| [HADOOP] hadoop (또는 dfs 명령)을 실행할 때 더 이상 사용되지 않는 오류가 계속 나타나는 이유는 무엇입니까? (0) | 2019.06.16 |
| [HADOOP] Hadoop Mapreduce 콘솔 출력에 대한 설명 (0) | 2019.06.16 |
| [HADOOP] Hadoop에 저장된 문서 검색 - 사용할 도구는 무엇입니까? (0) | 2019.06.16 |
| [HADOOP] 멀티 코어 8 노드 클러스터에서 Hadoop Map 작업을 예약하는 방법은 무엇입니까? (0) | 2019.06.16 |