[HADOOP] 어떻게 그 디렉토리 아래에있는 모든 파일을 나열하지 않고 HDFS 명령을 사용하여 특정 디렉토리 패턴 소비 디스크 공간을 확인하는?
HADOOP어떻게 그 디렉토리 아래에있는 모든 파일을 나열하지 않고 HDFS 명령을 사용하여 특정 디렉토리 패턴 소비 디스크 공간을 확인하는?
어떻게 그 디렉토리 아래에있는 모든 파일을 나열하지 않고 HDFS 명령을 사용하여 특정 디렉토리 패턴 소비 디스크 공간을 확인하는?
어떻게 HDFS DFS -du -h 명령 디스크 공간이 특정 디렉토리 패턴 소비받을 다른 명령을 효율적으로 때리는 될 수 있는가?
같은 예 : HDFS DFS -du -h / 데이터 / 타임 스탬프 = 201901 *이 나에게 2019 1 월에 그 패턴 소비 디스크 공간을 제공해야합니까?
hdfs dfs -du -h /data/timestamp=201901*
Configured Capacity: 12827080276992 (1 TB)
Present Capacity: 12729266364289 (0.5 TB)
DFS Remaining: 1671299095456 (0.5 TB)
DFS Used: 11057967268833 (10.06 TB)
DFS Used%: 46.07%
Under replicated blocks: 56
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
해결법
from https://stackoverflow.com/questions/56650389/how-to-identify-disk-space-consumed-for-a-particular-directory-pattern-using-hdf by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡은 - 어떻게 mapred.JobConf에서 TASKID를 추출? (0) | 2019.10.06 |
---|---|
[HADOOP] 하둡 스트리밍 mapred.output.compress에도 불구하고 압축 파일을 생성 = TRUE (0) | 2019.10.06 |
[HADOOP] KMeans는 범주 형 변수 처리 (0) | 2019.10.06 |
[HADOOP] 하둡 정렬 키와 키 값을 변경 (0) | 2019.10.06 |
[HADOOP] HDFS NFS 시작 오류 : "오류 mount.MountdBase는 다음 TCP 서버 ... ChannelException 시작하지 못했습니다 : 바인딩 실패를 ..." (0) | 2019.10.06 |