[HADOOP] 데이터 노드와 노드 관리자는 의사 클러스터 모드로 시작되지 않는 (아파치 하둡)
HADOOP데이터 노드와 노드 관리자는 의사 클러스터 모드로 시작되지 않는 (아파치 하둡)
데이터 노드와 노드 관리자는 가상 클러스터 모드 (아파치 하둡)에 시작되지 않습니다.
로그 파일에서이 오류를보고 :
***2017-08-22 17:15:08,403 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from archit doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.***
at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278)
at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:272)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:496)
at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:543)
2017-08-22 17:15:08,404 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException:
해결법
-
==============================
1.은 "ResourceManager에 : archit에서 NodeManager 최소 할당을 만족하지 않는다"노드 관리자가 시작되고있는 노드가 충분한 자원 WRT의 yarn.scheduler.minimum 할당-vcores과가없는 경우 오류가 볼 수 yarn.scheduler.minimum-allocation- 메가 구성.
은 "ResourceManager에 : archit에서 NodeManager 최소 할당을 만족하지 않는다"노드 관리자가 시작되고있는 노드가 충분한 자원 WRT의 yarn.scheduler.minimum 할당-vcores과가없는 경우 오류가 볼 수 yarn.scheduler.minimum-allocation- 메가 구성.
다음 얀을 다시 할당 yarn.scheduler.minimum-vcores 및 yarn.scheduler.minimum 할당-MB의 값을 감소시킨다.
from https://stackoverflow.com/questions/45879190/data-node-and-node-manager-is-not-starting-in-pseudo-cluster-modeapache-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Sqoop을 자바 (7) (0) | 2019.10.07 |
---|---|
[HADOOP] 반면에 withColumn 스파크 Dataframe의 스칼라를 사용하는 방법 (0) | 2019.10.07 |
[HADOOP] 너무 많은 작은 파일 HDFS 싱크 수로 (0) | 2019.10.07 |
[HADOOP] HBase를 회복 (0) | 2019.10.07 |
[HADOOP] 분산 캐시를 통해 매퍼에서 파일을 액세스 (0) | 2019.10.06 |