복붙노트

[HADOOP] HDFS 여유 공간 사용 가능 명령

HADOOP

HDFS 여유 공간 사용 가능 명령

hdfs에서 사용 가능한 여유 공간을 볼 수있는 hdfs 명령이 있습니까? 마스터의 브라우저를 통해 볼 수 있습니다. 브라우저의 hdfsport입니다.하지만 어떤 이유로이 스위치에 액세스 할 수 없으며 일부 명령이 필요합니다. ./bin/hadoop fs -du -h 명령을 사용하여 디스크 사용량을 볼 수 있지만 사용 가능한 여유 공간을 볼 수 없습니다.

미리 답변 해 주셔서 감사합니다.

해결법

  1. ==============================

    1.이 시도:

    이 시도:

    hdfs dfsadmin -report
    

    이전 버전의 Hadoop에서는 다음을 시도하십시오.

    hadoop dfsadmin -report
    
  2. ==============================

    2.최신 버전의 HDFS에서는 dfsadmin에 대한 hadoop CLI가 더 이상 사용되지 않습니다.

    최신 버전의 HDFS에서는 dfsadmin에 대한 hadoop CLI가 더 이상 사용되지 않습니다.

    $ sudo -u hdfs hadoop dfsadmin -report
    DEPRECATED: Use of this script to execute hdfs command is deprecated.
    Instead use the hdfs command for it.
    

    따라서 지금은 hdfs 만 사용해야합니다. 또한 sudo가 필요한 시스템에서는 다음과 같이 실행하십시오.

    $ sudo -u hdfs hdfs dfsadmin -report
    

    fs 모듈을 통해 hadoop까지 사용할 수있는 추가 방법이 있습니다.

    $ hadoop fs -df -h
    

    또한보다 철저한 대답을 제공하기 위해 단일 노드 설치에서 출력이 어떻게 생겼는지에 대해 설명합니다.

    $ sudo -u hdfs hdfs dfsadmin -report
    Configured Capacity: 7504658432 (6.99 GB)
    Present Capacity: 527142912 (502.72 MB)
    DFS Remaining: 36921344 (35.21 MB)
    DFS Used: 490221568 (467.51 MB)
    DFS Used%: 93.00%
    Under replicated blocks: 128
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    Missing blocks (with replication factor 1): 0
    
    -------------------------------------------------
    Live datanodes (1):
    
    Name: 192.168.114.48:50010 (host-192-168-114-48.td.local)
    Hostname: host-192-168-114-48.td.local
    Decommission Status : Normal
    Configured Capacity: 7504658432 (6.99 GB)
    DFS Used: 490221568 (467.51 MB)
    Non DFS Used: 6977515520 (6.50 GB)
    DFS Remaining: 36921344 (35.21 MB)
    DFS Used%: 6.53%
    DFS Remaining%: 0.49%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 2
    Last contact: Thu Feb 04 13:35:04 EST 2016
    

    위의 예에서 HDFS HDD 공간은 100 % 활용되었습니다.

    fs 모듈의 -df 부속 명령과 동일한 시스템 :

    $ hadoop fs -df -h
    Filesystem                                 Size     Used  Available  Use%
    hdfs://host-192-168-114-48.td.local:8020  7.0 G  467.5 M     18.3 M    7%
    
  3. ==============================

    3.

    hadoop fs -df -h
    

    또는

    hadoop dfsadmin -report
    
    hdfs dfs -df -h
    

    또는

    hadoop dfsadmin -report
    
  4. from https://stackoverflow.com/questions/11583210/hdfs-free-space-available-command by cc-by-sa and MIT license