복붙노트

[HADOOP] 중지 할 네임 노드 또는 데이터 노드 또는 보조 네임 노드 없음

HADOOP

중지 할 네임 노드 또는 데이터 노드 또는 보조 네임 노드 없음

아래 링크의 절차에 따라 Ubuntu 12.04에 Hadoop을 설치했습니다.

http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php

모든 것이 성공적으로 설치되었으며 start-all.sh를 실행하면 일부 서비스 만 실행됩니다.

wanderer@wanderer-Lenovo-IdeaPad-S510p:~$ su - hduse
Password:

hduse@wanderer-Lenovo-IdeaPad-S510p:~$ cd /usr/local/hadoop/sbin

hduse@wanderer-Lenovo-IdeaPad-S510p:/usr/local/hadoop/sbin$ start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
hduse@localhost's password: 
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduse-namenode-wanderer-Lenovo-IdeaPad-S510p.out
hduse@localhost's password: 
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduse-datanode-wanderer-Lenovo-IdeaPad-S510p.out
Starting secondary namenodes [0.0.0.0]
hduse@0.0.0.0's password: 
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hduse-secondarynamenode-wanderer-Lenovo-IdeaPad-S510p.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hduse-resourcemanager-wanderer-Lenovo-IdeaPad-S510p.out
hduse@localhost's password: 
localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduse-nodemanager-wanderer-Lenovo-IdeaPad-S510p.out

hduse@wanderer-Lenovo-IdeaPad-S510p:/usr/local/hadoop/sbin$ jps
7940 Jps
7545 ResourceManager
7885 NodeManager

stop-all.sh 스크립트를 실행하여 서비스를 중지하면

hduse@wanderer-Lenovo-IdeaPad-S510p:/usr/local/hadoop/sbin$ stop-all.sh
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [localhost]
hduse@localhost's password: 
localhost: no namenode to stop
hduse@localhost's password: 
localhost: no datanode to stop
Stopping secondary namenodes [0.0.0.0]
hduse@0.0.0.0's password: 
0.0.0.0: no secondarynamenode to stop
stopping yarn daemons
stopping resourcemanager
hduse@localhost's password: 
localhost: stopping nodemanager
no proxyserver to stop

내 구성 파일

저는 Hadoop을 처음 사용하여 문제를 찾을 수 없었습니다. 서비스를 추적하기 위해 Jobtracker 및 NameNode에 대한 로그 파일을 어디에서 찾을 수 있습니까?

해결법

  1. ==============================

    1.ssh 문제가 아닌 경우 다음을 수행하십시오.

    ssh 문제가 아닌 경우 다음을 수행하십시오.

  2. ==============================

    2.start-all.sh 명령 로그를 자세히 살펴보면 로그 파일 경로를 쉽게 볼 수 있습니다. 로그 쓰기를 시작한 후 각 서비스

    start-all.sh 명령 로그를 자세히 살펴보면 로그 파일 경로를 쉽게 볼 수 있습니다. 로그 쓰기를 시작한 후 각 서비스

    localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hduse-namenode-wanderer-Lenovo-IdeaPad-S510p.out
    ocalhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-hduse-datanode-wanderer-Lenovo-IdeaPad-S510p.out
    0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-hduse-secondarynamenode-wanderer-Lenovo-IdeaPad-S510p.out
    starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-hduse-resourcemanager-wanderer-Lenovo-IdeaPad-S510p.out
    localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-hduse-nodemanager-wanderer-Lenovo-IdeaPad-S510p.out
    
  3. ==============================

    3.ssh에 대해 비밀번호없는 인증을 설정해야합니다. hduse 사용자는 비밀번호없이 ssh를 통해 localhost에 로그인 할 수 있어야합니다.

    ssh에 대해 비밀번호없는 인증을 설정해야합니다. hduse 사용자는 비밀번호없이 ssh를 통해 localhost에 로그인 할 수 있어야합니다.

  4. ==============================

    4.네임 노드가 보이지 않습니다

    네임 노드가 보이지 않습니다

    $ jps 명령을 삽입 한 후 네임 노드는 표시되지 않지만 데이터 노드는 생성됩니다. 따라서 문제를 해결하기 위해 다음 단계를 수행 할 수 있습니다.

    hadoop 2.7.6을 사용한 구성에서 작동합니다.

    1 단계 :: :( 하둡 중지)

    / usr / local / hadoop / sbin $ stop-dfs.sh

    2 단계 :: :( tmp 폴더 제거)

    / usr / local / hadoop / sbin $ sudo rm -rf / app / hadoop / tmp /

    3 단계 :: :( 새 tmp 파일 만들기)

    / usr / local / hadoop / sbin $ sudo mkdir -p / app / hadoop / tmp

    / usr / local / hadoop / sbin $ sudo chown hduser : hadoop / app / hadoop / tmp

    / usr / local / hadoop / sbin $ chmod 750 / app / hadoop / tmp

    4 단계 :: :( 의도 된 형식)

    / usr / local / hadoop / sbin $ hdfs 클래스-포맷

    5 단계 :: :( dfs 시작)

    / usr / local / hadoop / sbin $ start-all.sh

    / usr / local / hadoop / sbin $ jps

    네임 노드는 지금 보여주고 있습니다

  5. from https://stackoverflow.com/questions/33772495/no-namenode-or-datanode-or-secondary-namenode-to-stop by cc-by-sa and MIT license