[HADOOP] HADOOP YARN-응용 프로그램이 스케줄러에 추가되었으며 아직 활성화되지 않았습니다. 클러스터 리소스가 비어 있으므로 AM 할당 건너 뛰기

HADOOP YARN-응용 프로그램이 스케줄러에 추가되었으며 아직 활성화되지 않았습니다. 클러스터 리소스가 비어 있으므로 AM 할당 건너 뛰기

프로젝트에 대해 YARN을 평가하고 있습니다. 간단한 분산 셸 예제를 작동 시키려고합니다. SUBMITTED 단계에 응용 프로그램을 받았지만 시작되지 않습니다. 다음은이 행에서보고 된 정보입니다.

ApplicationReport report = yarnClient.getApplicationReport(appId);

응용 프로그램이 스케줄러에 추가되었으며 아직 활성화되지 않았습니다. 클러스터 리소스가 비어 있으므로 AM 할당을 건너 뜁니다. 세부 사항 : AM Partition = DEFAULT_PARTITION; AM 리소스 요청 = 메모리 : 1024, vCores : 1; AM에 대한 큐 리소스 제한 = memory : 0, vCores : 0; 대기열의 사용자 AM 리소스 제한 = memory : 0, vCores : 0; 큐 AM 리소스 사용량 = 메모리 : 128, vCores : 1;

다른 개발자를위한 솔루션은 yarn-site.xml 파일의 yarn.scheduler.capacity.maximum-am-resource-percent를 기본값 인 .1에서 증가시켜야하는 것 같습니다. .2와 .5의 값을 시도했지만 도움이되지 않는 것 같습니다.

해결법

1. ==============================

   1.원사에 할당 된 RAM을 올바른 방식으로 구성하지 않은 것 같습니다. 당신이 당신의 자신의 설치에 따라 튜토리얼을 추론 / 적응하려고한다면 이것은 ..... 또한 문서가 구문 분석됩니다. 다음과 같은 도구를 사용하는 것이 좋습니다.

   원사에 할당 된 RAM을 올바른 방식으로 구성하지 않은 것 같습니다. 당신이 당신의 자신의 설치에 따라 튜토리얼을 추론 / 적응하려고한다면 이것은 ..... 또한 문서가 구문 분석됩니다. 다음과 같은 도구를 사용하는 것이 좋습니다.

   wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
   tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
   rm hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
   mv hdp_manual_install_rpm_helper_files-2.6.0.3.8/ hdp_conf_files
   python hdp_conf_files/scripts/yarn-utils.py -c 4 -m 8 -d 1 false
   

   이것은 당신에게 다음과 같은 것을 줄 것입니다 :

   Using cores=4 memory=8GB disks=1 hbase=True
   Profile: cores=4 memory=5120MB reserved=3GB usableMem=5GB disks=1
   Num Container=3
   Container Ram=1536MB
   Used Ram=4GB
   Unused Ram=3GB
   yarn.scheduler.minimum-allocation-mb=1536
   yarn.scheduler.maximum-allocation-mb=4608
   yarn.nodemanager.resource.memory-mb=4608
   mapreduce.map.memory.mb=1536
   mapreduce.map.java.opts=-Xmx1228m
   mapreduce.reduce.memory.mb=3072
   mapreduce.reduce.java.opts=-Xmx2457m
   yarn.app.mapreduce.am.resource.mb=3072
   yarn.app.mapreduce.am.command-opts=-Xmx2457m
   mapreduce.task.io.sort.mb=614
   

   yarn-site.xml 및 mapred-site.xml을 적절히 편집하십시오.

    nano ~/hadoop/etc/hadoop/yarn-site.xml
    nano ~/hadoop/etc/hadoop/mapred-site.xml
   

   또한, 당신은 yarn-site.xml에 이것을 가지고 있어야합니다

    <property>
           <name>yarn.acl.enable</name>
           <value>0</value>
   </property>
   
   <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>name_of_your_master_node</value>
   </property>
   
   <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
   </property>
   

   그리고 이것은 mapred-site.xml에서 :

   <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
   </property>
   

   그런 다음 scp를 사용하여 conf 파일을 각 노드에 업로드하십시오 (ssh 키를 각각 업로드 한 경우)

   for node in node1 node2 node3; do scp ~/hadoop/etc/hadoop/* $node:/home/hadoop/hadoop/etc/hadoop/; done
   

   그런 다음 원사를 다시 시작하십시오.

   stop-yarn.sh
   start-yarn.sh
   

   노드가 보이는지 확인하십시오.

   hadoop@master-node:~$ yarn node -list
   18/06/01 12:51:33 INFO client.RMProxy: Connecting to ResourceManager at master-node/192.168.0.37:8032
   Total Nodes:3
        Node-Id         Node-State Node-Http-Address   Number-of-Running-Containers
    node3:34683            RUNNING        node3:8042                              0
    node2:36467            RUNNING        node2:8042                              0
    node1:38317            RUNNING        node1:8042                              0
   

   문제가 해결 될 수 있습니다 (행운) (추가 정보)

from https://stackoverflow.com/questions/49579156/hadoop-yarn-application-is-added-to-the-scheduler-and-is-not-yet-activated-sk by cc-by-sa and MIT license