[HADOOP] Hadoop의 MapReduce 작업 성능 향상을위한 팁

Hadoop의 MapReduce 작업 성능 향상을위한 팁

나는 100 명의 매퍼와 1 명의 감속기가 일하고있다. 어떻게 작업 성능을 향상시킬 수 있습니까?

내 이해에 따라 : 결합기의 사용은 성능을 대폭 향상시킬 수 있습니다. 그러나 작업 성능을 향상시키기 위해 구성해야 할 다른 요소는 무엇입니까?

해결법

1. ==============================

   1.이 질문의 제한된 데이터 (입력 파일 크기, HDFS 블록 크기, 평균 맵 처리 시간, 매퍼 슬롯 수 및 클러스터의 슬롯 축소 등)를 사용하여 팁을 제안 할 수 없습니다.

   이 질문의 제한된 데이터 (입력 파일 크기, HDFS 블록 크기, 평균 맵 처리 시간, 매퍼 슬롯 수 및 클러스터의 슬롯 축소 등)를 사용하여 팁을 제안 할 수 없습니다.

   그러나 성능을 향상시키기위한 몇 가지 일반적인 지침이 있습니다.

   몇 가지 추가 정보 :

   몇 가지 추가 정보는이 cloudera 기사를 살펴보십시오.

from https://stackoverflow.com/questions/34241198/tips-to-improve-mapreduce-job-performance-in-hadoop by cc-by-sa and MIT license