[HADOOP] YARN에서 시작하는 H2O가 작동하지 않습니다
HADOOPYARN에서 시작하는 H2O가 작동하지 않습니다
cdh 클러스터에서 H2o를 시작하면 다음 오류가 발생합니다. 나는 그가 wbesite에서 모든 것을 다운로드하고 튜토리얼을 따랐다. 내가했던 명령은
hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName
컨테이너가 사용되지 않음을 나타냅니다. 이것들이 hadoop에 어떤 설정이 될지는 명확하지 않습니다. 모든 설정 메모리를 제공했습니다. 의미가없는 메모리의 경우 0.0이며 컨테이너가 메모리를 사용하지 않는 이유는 무엇입니까? 클러스터가 지금 실행 중입니까?
----- YARN cluster metrics -----
Number of YARN worker nodes: 3
----- Nodes -----
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0 / 6.0 GB used, 1 / 4 vcores used
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
----- Queues -----
Queue name: root.default
Queue state: RUNNING
Current capacity: 0.00
Capacity: 0.00
Maximum capacity: -1.00
Application count: 0
Queue 'root.default' approximate utilization: 0.0 / 0.0 GB used, 0 / 0 vcores used
----------------------------------------------------------------------
WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)
----------------------------------------------------------------------
For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008'
해결법
-
==============================
1.2 노드 클러스터를 실행하기 위해 사용 가능한 자원을 갖도록 기본 큐를 설정해야합니다.
2 노드 클러스터를 실행하기 위해 사용 가능한 자원을 갖도록 기본 큐를 설정해야합니다.
경고 참조 :
용량 스케줄러 설정 및 최대 가용 리소스와 같은 YARN 설명서를 확인하십시오. https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
-
==============================
2.Cloudera Manager 얀 구성에서 다음과 같이 변경했습니다.
Cloudera Manager 얀 구성에서 다음과 같이 변경했습니다.
Setting Value yarn.scheduler.maximum-allocation-vcores 8 yarn.nodemanager.resource.cpu-vcores 4 yarn.nodemanager.resource.cpu-vcores 4 yarn.scheduler.maximum-allocation-mb 16 GB
from https://stackoverflow.com/questions/37096589/h2o-starting-on-yarn-not-working by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop / Eclipse- "main"스레드 예외 java.lang.NoClassDefFoundError : org / apache / hadoop / fs / FileSystem (0) | 2019.09.14 |
---|---|
[HADOOP] 사용 중이거나 지금까지 생성 된 모든 하이브 데이터베이스를 나열하는 방법은 무엇입니까? (0) | 2019.09.14 |
[HADOOP] hadoop 클러스터 / HDFS에 의해 인식 되려면 사용자가 모든 노드에 존재해야합니까? (0) | 2019.09.14 |
[HADOOP] Hive의 모든 테이블에서 특정 열 이름을 어떻게 찾을 수 있습니까? (0) | 2019.09.14 |
[HADOOP] CDH에서 스파크 코어의 의존성 제외 (0) | 2019.09.14 |