[HADOOP] hadoop에서 파일에 대한 블록 수보기
HADOOPhadoop에서 파일에 대한 블록 수보기
Hadoop 파일 시스템에서 얼마나 많은 블록에 파일이 분할되었는지 보려면 어떻게해야합니까?
해결법
-
==============================
1.hadoop 파일 시스템 검사 명령을 사용하여 특정 파일의 블록을 알 수 있습니다.
hadoop 파일 시스템 검사 명령을 사용하여 특정 파일의 블록을 알 수 있습니다.
다음은 명령입니다.
hadoop fsck [path] [options]
특정 파일의 블록을 보려면 :
hadoop fsck /path/to/file -files -blocks
-
==============================
2.hadoop fsck filetopath
hadoop fsck filetopath
CDH 5에서 위의 명령을 사용하십시오. 아래 오류가 있습니다.
hadoop-hdfs / bin / hdfs : 줄 262 : exec : : 찾을 수 없습니다.
아래 명령을 사용하면 효과가있었습니다.
무료 생선 필레
-
==============================
3.이건 .. 작동합니다.
이건 .. 작동합니다.
hadoop fs -stat "%o" /path/to/file
from https://stackoverflow.com/questions/11168427/viewing-the-number-of-blocks-for-a-file-in-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Pyspark : HDFS 경로에있는 파일 / 디렉토리 목록 가져 오기 (0) | 2019.06.07 |
---|---|
[HADOOP] Hadoop on EC2와 Elastic Map Reduce (0) | 2019.06.07 |
[HADOOP] -hivevar와 -hiveconf의 차이점은 무엇입니까? (0) | 2019.06.07 |
[HADOOP] Hadoop : ResourceManager에 연결하지 못했습니다. (0) | 2019.06.07 |
[HADOOP] 사용자 정의 Hadoop 유형에 대한 ArrayWritable 구현 (0) | 2019.06.07 |