복붙노트

[HADOOP] 어떻게 그 디렉토리 아래에있는 모든 파일을 나열하지 않고 HDFS 명령을 사용하여 특정 디렉토리 패턴 소비 디스크 공간을 확인하는?

HADOOP

어떻게 그 디렉토리 아래에있는 모든 파일을 나열하지 않고 HDFS 명령을 사용하여 특정 디렉토리 패턴 소비 디스크 공간을 확인하는?

어떻게 그 디렉토리 아래에있는 모든 파일을 나열하지 않고 HDFS 명령을 사용하여 특정 디렉토리 패턴 소비 디스크 공간을 확인하는?

어떻게 HDFS DFS -du -h 명령 디스크 공간이 특정 디렉토리 패턴 소비받을 다른 명령을 효율적으로 때리는 될 수 있는가?

같은 예 : HDFS DFS -du -h / 데이터 / 타임 스탬프 = 201901 *이 나에게 2019 1 월에 그 패턴 소비 디스크 공간을 제공해야합니까?

hdfs dfs -du -h /data/timestamp=201901*

Configured Capacity: 12827080276992 (1 TB)
Present Capacity: 12729266364289 (0.5 TB)
DFS Remaining: 1671299095456 (0.5 TB)
DFS Used: 11057967268833 (10.06 TB)
DFS Used%: 46.07%
Under replicated blocks: 56
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

해결법

    from https://stackoverflow.com/questions/56650389/how-to-identify-disk-space-consumed-for-a-particular-directory-pattern-using-hdf by cc-by-sa and MIT license