[HADOOP] 튜닝 하둡 매개 변수

튜닝 하둡 매개 변수

가능한 모든 조합에 대한 테스트를 실행하지 않고도 조정 하둡 구성 매개 변수를 미세 수있는 방법이 있습니까? 나는 현재 8 개 노드 클러스터에서 일하고 나는 작업뿐만 아니라 스파크 성능 (HDFS 위에 실행)을 줄일지도의 성능을 최적화 할 수 있습니다.

해결법

1. ==============================

   1.짧은 대답은 NO입니다. 당신은 주위를 재생하고 클러스터에 대한 최적의 성능을 결정하기 위해 연기 테스트를 실행해야합니다. 그래서 나는이 체크 아웃으로 시작할 것

   짧은 대답은 NO입니다. 당신은 주위를 재생하고 클러스터에 대한 최적의 성능을 결정하기 위해 연기 테스트를 실행해야합니다. 그래서 나는이 체크 아웃으로 시작할 것

   연결:

   일부 주제는 맵리 듀스 작업에 영향을 것이다 논의 :

   당신에게 노드 클러스터 당 4 노드 (32) 핵심 1백28기가바이트의 RAM이 원사 / TEZ에서 설정하는 방법에 대한 아이디어를 제공하기 위해 (. 하둡 다중 노드 클러스터 너무 느린에서 어떻게 데이터 처리 속도를 증가합니까?)

   나누기 RAM / 코어의 수 = 최대 TEZ 컨테이너 크기 : TEZ의 경우 그래서 내 경우 : 32분의 128 = 4기가바이트

   관련 항목 :

   실:

   난 내 권장 사항보다 조금 더 높은, 내가 원사와 노드 당 마련 할 수있는 최대 RAM을 실행하는 데 좋아하지만 76기가바이트 더 내 경우 작동하도록 권장 값은 TEZ / MR 작업에서 충돌이 발생합니다. 당신은이 모든 값으로 재생해야!

from https://stackoverflow.com/questions/55764777/tuning-hadoop-parameters by cc-by-sa and MIT license