[HADOOP] YARN의 nodemanager에서 컨테이너 수를 늘리는 방법

YARN의 nodemanager에서 컨테이너 수를 늘리는 방법

내 YARN 클러스터의 노드에는 64GB 메모리와 24 코어가 있습니다. yarn-site.xml에서 다음 속성을 설정했습니다.

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

그러나 노드의 노드 관리자는 단 7 개의 컨테이너 만 가지고 있음을 발견했습니다. 내가 설정해야하는 다른 속성은 무엇입니까?

해결법

1. ==============================

   1.YARN에게 컨테이너에 메모리를 분할하는 방법을 알려줘야합니다. 예를 들어 컨테이너 당 메모리를 2GB로 설정하면 16 개의 컨테이너가 제공됩니다

   YARN에게 컨테이너에 메모리를 분할하는 방법을 알려줘야합니다. 예를 들어 컨테이너 당 메모리를 2GB로 설정하면 16 개의 컨테이너가 제공됩니다

   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
   

2. ==============================

   2.같은 것을 시도해보십시오 :

   같은 것을 시도해보십시오 :

     <property>
       <name>mapreduce.map.memory.mb</name>
       <value>1024</value>      
     </property>
   
     <property>
       <name>mapreduce.reduce.memory.mb</name>
       <value>2048</value>      
     </property>
   

from https://stackoverflow.com/questions/20021566/how-to-increase-the-number-of-containers-in-nodemanager-in-yarn by cc-by-sa and MIT license