[HADOOP] Yarn ResourceManager에없는 슬레이브 노드

Yarn ResourceManager에없는 슬레이브 노드

3 노드 Apache Hadoop 클러스터를 설정했습니다. 마스터 노드에서 볼 수 있습니다.

[hadoop-conf]$ jps
16856 DataNode
17051 SecondaryNameNode
16701 NameNode
21601 ResourceManager
21742 NodeManager
18335 JobHistoryServer

슬레이브 노드에서는

[fedora20-template dfs]$ jps
28677 Jps
28510 NodeManager
27449 DataNode

나는 주인에게서 3 개의 살아있는 마디를 볼 수있다 : 50070. 그러나 ResourceManager 웹 UI (http : // master : 8088 / cluster / nodes)에서는 마스터 노드 만 볼 수 있습니다. 두 슬레이브 노드가 자원 관리자에없는 이유는 무엇입니까? 그것은 그들이지도 제작을하는데 사용되는 자원의 일부가 아니라는 것을 의미합니까?

해결법

1. ==============================

   1.문제 해결됨. nodemanager가 자원 관리자의 위치를 ​​알 수 있도록하기 위해 yarn-site.xml에서 일부 구성을 수행해야합니다. 특히,이 속성을 yarn-site.xml에 추가했습니다.

   문제 해결됨. nodemanager가 자원 관리자의 위치를 ​​알 수 있도록하기 위해 yarn-site.xml에서 일부 구성을 수행해야합니다. 특히,이 속성을 yarn-site.xml에 추가했습니다.

     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>master</value>
     </property>
   

   이유 : yarn-default.xml의 기본값은 0.0.0.0이며 많은 속성은이 호스트 이름을 사용하여 다음과 같은 리소스 관리자에 연결합니다.

   <property>
       <name>yarn.resourcemanager.address</name>
       <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   

   답변 크레딧 : https://stackoverflow.com/a/22125279/3209177

2. ==============================

   2.이상적으로는 슬레이브 노드가 클러스터의 일부가 아닙니다. 아마도 잘못된 클러스터 설정 때문일 수 있습니다. 그러나 쉘에서 다음 명령을 실행하기 만하면됩니다.

   이상적으로는 슬레이브 노드가 클러스터의 일부가 아닙니다. 아마도 잘못된 클러스터 설정 때문일 수 있습니다. 그러나 쉘에서 다음 명령을 실행하기 만하면됩니다.

   hdfs dfsadmin -report
   

   당신은 데이터 노드의 통계를 얻을 수 있어야합니다.

3. ==============================

   3.NameNode를 포함하여 모든 노드에서 yarn-site.xml에 다음을 추가했습니다 (이 노드도 함께 사용된다고 가정합니다).

   NameNode를 포함하여 모든 노드에서 yarn-site.xml에 다음을 추가했습니다 (이 노드도 함께 사용된다고 가정합니다).

   <property>  
     <name>yarn.resourcemanager.resource-tracker.address</name>  
     <value>{Enter NameNode IP Address}:8025</value>  
   </property>  
   <property>  
     <name>yarn.resourcemanager.scheduler.address</name>  
     <value>{Enter NameNode IP Address}:8030</value>  
   </property>  
   <property>  
     <name>yarn.resourcemanager.address</name>  
     <value>{Enter NameNode IP Address}:8040</value>  
   </property>
   

from https://stackoverflow.com/questions/32727675/slave-nodes-not-in-yarn-resourcemanager by cc-by-sa and MIT license