[HADOOP] HDFS -du 결과를 이해하는 방법

HDFS -du 결과를 이해하는 방법

나는 명령 HDFS의 DFS를 사용하는 것을 시도하고있다 - 뒤 파일 및 폴더의 크기를 나열 -h. 내가 사용하는 명령은 HDFS DFS이다 - -h / path_name에 / 폴더 _ 반환 결과는 같다 뒤

9.2 G   27.5 G  /path_name/folder_name/xxx01.parquet
0       0       /path_name/folder_name/xxx02.parquet
19.9 M  59.6 M  /path_name/folder_name/xxx03.parquet

나는 하둡 명령 줄이 일반 파일 시스템 명령에서 많이 빌려 알고, -du -h 사람이 읽을 수 폴더 / 파일 크기를 나열하는 것입니다. 그러나, 이들 두 수치는 각각 27.5 9.2 G G에 대한 의미는 무엇인가 (예로서, 첫 번째 결과 라인을)?

감사!

해결법

1. ==============================

   1.첫 번째 숫자는 파일 순수 크기이며, 두 번째는 repicas와 파일 크기 3. 클러스터 복제 요인이다. 예를 들어 실제 파일 크기는 9.2 GB입니다. 복제 계수가 3이기 때문에 복제와 파일 크기는 27.5GB입니다

   첫 번째 숫자는 파일 순수 크기이며, 두 번째는 repicas와 파일 크기 3. 클러스터 복제 요인이다. 예를 들어 실제 파일 크기는 9.2 GB입니다. 복제 계수가 3이기 때문에 복제와 파일 크기는 27.5GB입니다

   size      disk space consumed with all replicas full_path
   

from https://stackoverflow.com/questions/52377747/how-to-understand-hdfs-du-results by cc-by-sa and MIT license