복붙노트

[HADOOP] YARN에서 시작하는 H2O가 작동하지 않습니다

HADOOP

YARN에서 시작하는 H2O가 작동하지 않습니다

cdh 클러스터에서 H2o를 시작하면 다음 오류가 발생합니다. 나는 그가 wbesite에서 모든 것을 다운로드하고 튜토리얼을 따랐다. 내가했던 명령은

hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName  

컨테이너가 사용되지 않음을 나타냅니다. 이것들이 hadoop에 어떤 설정이 될지는 명확하지 않습니다. 모든 설정 메모리를 제공했습니다. 의미가없는 메모리의 경우 0.0이며 컨테이너가 메모리를 사용하지 않는 이유는 무엇입니까? 클러스터가 지금 실행 중입니까?

----- YARN cluster metrics -----
Number of YARN worker nodes: 3

----- Nodes -----
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0 / 6.0 GB used, 1 / 4 vcores used
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used

----- Queues -----
Queue name:            root.default
    Queue state:       RUNNING
    Current capacity:  0.00
    Capacity:          0.00
    Maximum capacity:  -1.00
    Application count: 0

Queue 'root.default' approximate utilization: 0.0 / 0.0 GB used, 0 / 0 vcores used

----------------------------------------------------------------------

WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)

----------------------------------------------------------------------

For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008'

해결법

  1. ==============================

    1.2 노드 클러스터를 실행하기 위해 사용 가능한 자원을 갖도록 기본 큐를 설정해야합니다.

    2 노드 클러스터를 실행하기 위해 사용 가능한 자원을 갖도록 기본 큐를 설정해야합니다.

    경고 참조 :

    용량 스케줄러 설정 및 최대 가용 리소스와 같은 YARN 설명서를 확인하십시오. https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

  2. ==============================

    2.Cloudera Manager 얀 구성에서 다음과 같이 변경했습니다.

    Cloudera Manager 얀 구성에서 다음과 같이 변경했습니다.

    Setting                                     Value
    yarn.scheduler.maximum-allocation-vcores    8 
    yarn.nodemanager.resource.cpu-vcores        4
    yarn.nodemanager.resource.cpu-vcores        4
    yarn.scheduler.maximum-allocation-mb        16 GB
    
  3. from https://stackoverflow.com/questions/37096589/h2o-starting-on-yarn-not-working by cc-by-sa and MIT license