[HADOOP] 하둡 클러스터의 노드 수

하둡 클러스터의 노드 수

Hadoop Multi 노드 클러스터를 설정하려고합니다.

클러스터를 시작하면 콘솔에 내 응답이 있습니다.

hduser@hadoop-master:/usr/local/hadoop$ /usr/local/hadoop/sbin/start-dfs.sh
Starting namenodes on [hadoop-master]
hadoop-master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduser-namenode-hadoop-master.out
hadoop-master: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-hadoop-master.out
hadoop-child: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduser-datanode-hadoop-child.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hduser-secondarynamenode-hadoop-master.out
hduser@hadoop-master:/usr/local/hadoop$ jps
21079 NameNode
21258 DataNode
21479 SecondaryNameNode
21600 Jps
hduser@hadoop-master:/usr/local/hadoop$ /usr/local/hadoop/sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hduser-resourcemanager-hadoop-master.out
hadoop-child: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduser-nodemanager-hadoop-child.out
hadoop-master: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduser-nodemanager-hadoop-master.out
hduser@hadoop-master:/usr/local/hadoop$ jps
21079 NameNode
21258 DataNode
22117 Jps
21815 NodeManager
21479 SecondaryNameNode
21658 ResourceManager

hadoop-child 시스템에서 시작된 데이터 노드를 볼 수 있습니다.

이제 모든 노드 정보를 얻으려고 할 때. 모든 노드가 표시되지 않습니다.

hduser@hadoop-master:/usr/local/hadoop$ bin/hdfs dfsadmin -report
Configured Capacity: 21103243264 (19.65 GB)
Present Capacity: 17825124352 (16.60 GB)
DFS Remaining: 17821085696 (16.60 GB)
DFS Used: 4038656 (3.85 MB)
DFS Used%: 0.02%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 21103243264 (19.65 GB)
DFS Used: 4038656 (3.85 MB)
Non DFS Used: 3278118912 (3.05 GB)
DFS Remaining: 17821085696 (16.60 GB)
DFS Used%: 0.02%
DFS Remaining%: 84.45%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Feb 26 17:13:04 UTC 2017

여기서 마스터와 자식의 정보를 모두 볼 필요가 있습니다. 마스터 노드 1 개와 자식 노드 1 개가 있습니다.

********************고치다*******

프랭크를 기준으로이 문제가 해결되었습니다.

아래 2 줄을 변경

127.0.0.1 localhost hadoop-master
961.118.98.183 hadoop-child

에 (두 노드에서)

127.0.0.1 localhost 
961.118.99.251 hadoop-master
961.118.98.183 hadoop-child

2. 다음 순서로 클러스터를 다시 시작하십시오. 데이터 노드를 다시 포맷해야합니다.

format will remove only the meta, the datanode's data directories will still be using the old namenode's identity which wil cause the datanode to fail(so delete the directories).

Can you please this order.. 
1) stop the cluster 
2) rm -rf /path/to/datanode/data/dir (in both nodes) 
3) hadoop namenode -format
4) START cluste

해결법

1. ==============================

   1.멀티 노드 환경을 설정할 때 이름 노드 및 자원 관리자 주소를 명시 적으로 정의해야합니다.

   멀티 노드 환경을 설정할 때 이름 노드 및 자원 관리자 주소를 명시 적으로 정의해야합니다.

   두 노드의 core-site.xml에이 특성을 추가하십시오.

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop-master:8020</value>
   </property>
   

   또한 yarn-site.xml에서

   <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop-master</value>
   </property>
   

   모든 노드의 / etc / hosts 파일에서 IP 주소와 호스트 이름 매핑이 완료되었는지 확인하십시오.

   참고 : 서비스가 실행중인 경우 서비스를 중지 한 후 다시 시작하기 전에 이러한 특성을 추가하십시오.

from https://stackoverflow.com/questions/42471625/number-of-nodes-in-hadoop-cluster by cc-by-sa and MIT license