[HADOOP] 하둡은 하둡 2.7에 콘테이너 당 1 개 이상의 코어를 추가

하둡은 하둡 2.7에 콘테이너 당 1 개 이상의 코어를 추가

나는 지금까지 당신이 하둡 2.7 원사 1 개 컨테이너에 코어에 대해이 32 코어 이상을 추가 할 수있는 방법이 들었어요.

이 가능할 것이다 누군가는 내가 이것을 달성하기 위해 변경할 필요가 무엇의 샘플 구성이 무엇입니까?

시험은 1 개 컨테이너 작업에 내 40 개 코어를 추가, terasort 될 것이다.

해결법

1. ==============================

   1.다음 vCores의 경우 구성은 다음과 같습니다

   다음 vCores의 경우 구성은 다음과 같습니다

   yarn.scheduler.maximum 할당-vcores은 - 모든 컨테이너 요청 vCores의 최대 할당을 지정합니다

   일반적으로 원사를 site.xml에, 당신은 어떤보다 큰 값 (32) 원사에 의해 거부됩니다, 나는 생각 (32)이 값을 설정합니다.

     <property>
       <name>yarn.scheduler.maximum-allocation-vcores</name>
       <value>32</value>
     </property>
   

   이 값이 설정되지 않은 경우, 원사 RM은 "4"인 디폴트 값을 취

   public static final int DEFAULT_RM_SCHEDULER_MAXIMUM_ALLOCATION_VCORES = 4;
   

   당신이 맵리 듀스 응용 프로그램을 실행하는 경우에, 당신은 또한 mapred-site.xml 파일에 두 개 더 구성 매개 변수를 설정해야합니다 :

   당신의 매퍼 / 감속기 요청에 대한 자원 계산은 스케줄러 코드에서 이루어집니다. 당신이 당신의 스케줄러 자원 계산을위한 메모리와 CPU를 고려할 경우에, 당신은 (자원 계산에 CPU와 메모리를 고려) "DominantResourceCalculator"를 사용할 필요가

   의 경우 예를 들어, 당신이 용량 스케줄러를 사용하는 경우, 당신은 "용량 scheduler.xml"파일의 매개 변수에 다음과 같은 지정해야합니다 :

     <property>
       <name>yarn.scheduler.capacity.resource-calculator</name>
       <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
     </property>
   

   http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html :이 링크를 확인하시기 바랍니다

   이는 다양한 구성 파라미터들의 상세한 설명을 제공한다.

2. ==============================

   2.솔직히 용기가 mapred-site.xml의 파일에서 이러한 속성을 설정이 설정할 수 있습니다 나는 하둡 2.7에 대해 잘 모르겠지만, 경우 매퍼는 더 많은 스레드,지도 당 코어 수를 활용할 수 (또는 감소)

   솔직히 용기가 mapred-site.xml의 파일에서 이러한 속성을 설정이 설정할 수 있습니다 나는 하둡 2.7에 대해 잘 모르겠지만, 경우 매퍼는 더 많은 스레드,지도 당 코어 수를 활용할 수 (또는 감소)

   하둡 설명서를 참조하십시오

from https://stackoverflow.com/questions/33174735/hadoop-adding-more-than-1-core-per-container-on-hadoop-2-7 by cc-by-sa and MIT license