[HADOOP] hadoop에서 데이터 노드의 디스크 공간을 알고 있습니까?

hadoop에서 데이터 노드의 디스크 공간을 알고 있습니까?

각 데이터 노드의 디스크 공간 또는 전체 클러스터 디스크 공간을 알 수있는 방법이나 명령이 있습니까?

나는 명령을 시도

dfs -du -h /

그러나 많은 디렉토리에 대해 실행할 권한이 없으므로 실제 디스크 공간을 확보 할 수 없습니다.

해결법

1. ==============================

   1.UI에서 :

   UI에서 :

   http : // intentode : 50070 / dfshealth.html # tab-datanode

   ---> 데이터 노드에 대한 모든 세부 정보를 제공합니다.

   명령 행에서 :

   각 데이터 노드의 디스크 공간을 확보하려면 다음을 수행하십시오.

   sudo -u hdfs hdfs dfsadmin -report

   ---> 전체 HDFS 및 개별 데이터 노드에 대한 세부 정보를 제공합니다. 또는

   sudo -u hdfs hdfs dfs -du -h /

   ---> 루트 / 디렉토리 아래의 각 폴더의 총 디스크 사용량을 제공합니다

2. ==============================

   2.네임 노드 UI의 데이터 노드 탭에서 모든 데이터 노드 및 해당 디스크 사용량에 대한 정보를 볼 수 있습니다. 전체 클러스터 디스크 공간은 기본 페이지의 요약 부분에서 볼 수 있습니다.

   네임 노드 UI의 데이터 노드 탭에서 모든 데이터 노드 및 해당 디스크 사용량에 대한 정보를 볼 수 있습니다. 전체 클러스터 디스크 공간은 기본 페이지의 요약 부분에서 볼 수 있습니다.

   http : // intentionode-ip : 50070

3. ==============================

   3.단순 보안으로 구성된 Hadoop 클러스터를 사용하는 경우 아래 명령을 실행하여 데이터 노드 사용을 얻을 수 있습니다.

   단순 보안으로 구성된 Hadoop 클러스터를 사용하는 경우 아래 명령을 실행하여 데이터 노드 사용을 얻을 수 있습니다.

   export HADOOP_USER_NAME=hdfs ; 
   

   * 위의 명령은 간단한 보안에서 관리자 권한을 얻는 데 사용할 수 있습니다. hdfs admin에 다른 사용자를 사용하는 경우 hdfs를 해당 hdfs admin 사용자로 바꾸십시오.

   hadoop dfsadmin -report 
   

   다른 옵션은 해당 데이터 노드에 로그인하고 아래의 unix 명령을 실행하여 해당 서버의 디스크 사용률을 얻는 것입니다.

   df -h
   

4. ==============================

   4.하둡 3.2.0 :

   하둡 3.2.0 :

   hduser@hadoop-node1:~$ hdfs dfs -df
   Filesystem                          Size          Used     Available  Use%
   hdfs://hadoop-node1:54310  3000457228288  461352007680  821808787456   15%
   hduser@hadoop-node1:~$
   

   사람이 읽을 수있는 숫자의 경우 다음을 사용하십시오.

   hduser@hadoop-node1:~$ hdfs dfs -df -h
   Filesystem                  Size     Used  Available  Use%
   hdfs://hadoop-node1:54310  2.7 T  429.7 G    765.4 G   15%
   hduser@hadoop-node1:~$ 
   

from https://stackoverflow.com/questions/45808525/know-the-disk-space-of-data-nodes-in-hadoop by cc-by-sa and MIT license