복붙노트

[HADOOP] Hadoop 데몬이 실행 중인지 확인하는 방법?

HADOOP

Hadoop 데몬이 실행 중인지 확인하는 방법?

Hadoop 데몬이 실행 중인지 확인하는 간단한 명령은 무엇입니까?

예를 들어 HDFS가 제대로 설정되지 않은 이유를 알아 내려고한다면 namemonode / datanode / jobtracker / tasktracker가이 컴퓨터에서 실행 중인지 확인하는 방법을 알고 싶을 것입니다.

로그를 보거나 ps (Linux)를 사용하지 않고 빨리 검사 할 수있는 방법이 있습니까?

해결법

  1. ==============================

    1.셸 유형 'jps'(jps를 실행하려면 jdk가 필요할 수 있습니다). 실행중인 모든 java 프로세스를 나열하고 실행중인 hadoop 데몬을 나열합니다.

    셸 유형 'jps'(jps를 실행하려면 jdk가 필요할 수 있습니다). 실행중인 모든 java 프로세스를 나열하고 실행중인 hadoop 데몬을 나열합니다.

  2. ==============================

    2.ps -ef | grep hadoop에서 hadoop 프로세스가 실행되지 않는다면 sbin / start-dfs.sh를 실행하십시오. hdfs dfsadmin으로 모니터링 -보고 :

    ps -ef | grep hadoop에서 hadoop 프로세스가 실행되지 않는다면 sbin / start-dfs.sh를 실행하십시오. hdfs dfsadmin으로 모니터링 -보고 :

    [mapr@node1 bin]$ hadoop dfsadmin -report
    Configured Capacity: 105689374720 (98.43 GB)
    Present Capacity: 96537456640 (89.91 GB)
    DFS Remaining: 96448180224 (89.82 GB)
    DFS Used: 89276416 (85.14 MB)
    DFS Used%: 0.09%
    Under replicated blocks: 0
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    
    -------------------------------------------------
    Datanodes available: 2 (2 total, 0 dead)
    
    Name: 192.168.1.16:50010
    Decommission Status : Normal
    Configured Capacity: 52844687360 (49.22 GB)
    DFS Used: 44638208 (42.57 MB)
    Non DFS Used: 4986138624 (4.64 GB)
    DFS Remaining: 47813910528(44.53 GB)
    DFS Used%: 0.08%
    DFS Remaining%: 90.48%
    Last contact: Tue Aug 20 13:23:32 EDT 2013
    
    
    Name: 192.168.1.17:50010
    Decommission Status : Normal
    Configured Capacity: 52844687360 (49.22 GB)
    DFS Used: 44638208 (42.57 MB)
    Non DFS Used: 4165779456 (3.88 GB)
    DFS Remaining: 48634269696(45.29 GB)
    DFS Used%: 0.08%
    DFS Remaining%: 92.03%
    Last contact: Tue Aug 20 13:23:34 EDT 2013
    
  3. ==============================

    3.나는 그것에 대한 훌륭한 해결책을 찾지 못했기 때문에

    나는 그것에 대한 훌륭한 해결책을 찾지 못했기 때문에

    ps -ef | grep hadoop | grep -P  'namenode|datanode|tasktracker|jobtracker'
    

    물건들이 돌아가고 있는지보기 위해서입니다.

    ./hadoop dfsadmin -report
    

    하지만 마지막까지는 서버가 돌아갈 때까지 도움이되지 않았습니다.

  4. ==============================

    4.jps 명령을 사용해보십시오. 실행중인 Java 프로세스를 지정합니다.

    jps 명령을 사용해보십시오. 실행중인 Java 프로세스를 지정합니다.

  5. ==============================

    5.jps와 별도로 Hadoop에서 제공하는 NameNode 및 JobTracker에 웹 인터페이스를 사용하는 것이 좋습니다. 그것은 단지 프로세스를 보여줄뿐만 아니라 클러스터 요약, 진행중인 작업 등 atc와 같은 유용한 정보를 많이 제공합니다. NN UI로 이동하려면 웹 브라우저에서 "YOUR_NAMENODE_HOST : 9000"을 가리키고 JT UI의 경우 "YOUR_JOBTRACKER_HOST : 9001"을 가리 킵니다.

    jps와 별도로 Hadoop에서 제공하는 NameNode 및 JobTracker에 웹 인터페이스를 사용하는 것이 좋습니다. 그것은 단지 프로세스를 보여줄뿐만 아니라 클러스터 요약, 진행중인 작업 등 atc와 같은 유용한 정보를 많이 제공합니다. NN UI로 이동하려면 웹 브라우저에서 "YOUR_NAMENODE_HOST : 9000"을 가리키고 JT UI의 경우 "YOUR_JOBTRACKER_HOST : 9001"을 가리 킵니다.

  6. ==============================

    6.당신은 다음 명령과 같이 vipin 명령으로 Jps 명령을 사용할 수 있습니다 :

    당신은 다음 명령과 같이 vipin 명령으로 Jps 명령을 사용할 수 있습니다 :

    /usr/lib/java/jdk1.8.0_25/bin/jps  
    

    물론 당신은 "당신이 자바를 설치 한 경로"를 가지고있는 자바의 경로를 바꿀 것입니다. Jps는 예상되는 Hadoop 프로세스가 실행 중인지 (Sun의 Java 버전 인 v1.5.0부터) 실행 중인지 확인하기위한 멋진 도구입니다. 결과는 다음과 같습니다.

    2287 TaskTracker  
    2149 JobTracker  
    1938 DataNode  
    2085 SecondaryNameNode  
    2349 Jps  
    1788 NameNode  
    

    이 튜토리얼에서 답을 얻습니다 : http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

  7. ==============================

    7.Hadoop 노드가 실행 중인지 확인하려면 다음을 수행하십시오.

    Hadoop 노드가 실행 중인지 확인하려면 다음을 수행하십시오.

    sudo -u hdfs hdfs dfsadmin -report
    
  8. ==============================

    8.데몬이 실행 중인지 확인하려면?

    데몬이 실행 중인지 확인하려면?

    jps 명령으로 확인할 수 있습니다.

    아래 명령을 사용하십시오.

    ps -ef | grep -w namenode
    

    ps -ef | grep -w 데이터 양극

    ps -ef | grep -w tasktracker 
    

    -w : - 정확한 문자열을 가져 오는 데 도움이됩니다.

    수퍼 유저 권한이있는 경우 다음과 같이 동일한 권한을 사용할 수도 있습니다.

    ./hadoop dfsadmin -report
    

    희망이 도움이 될 것입니다!

  9. ==============================

    9.다음을 실행 해보십시오.

    다음을 실행 해보십시오.

    for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
    
  10. from https://stackoverflow.com/questions/15555965/how-to-check-if-hadoop-daemons-are-running by cc-by-sa and MIT license