[HADOOP] HBase 테이블의 크기는 어떻게 결정합니까? 그렇게 할 수있는 명령이 있습니까?
HADOOPHBase 테이블의 크기는 어떻게 결정합니까? 그렇게 할 수있는 명령이 있습니까?
Hbase 쉘에 파일 시스템에 복사하려는 테이블이 여러 개 있습니다. 일부 테이블은 100GB를 초과합니다. 그러나 필자는 로컬 파일 시스템에 55GB의 여유 공간 만 남겨두고 있습니다. 따라서 작은 테이블 만 내보낼 수 있도록 hbase 테이블의 크기를 알고 싶습니다. 모든 제안을 부탁드립니다.
Tenks, 가우 탐
해결법
-
==============================
1.시험 hdfs dfs -du -h / hbase / data / default / (또는 사용하는 hbase 버전에 따라 / hbase /)
시험 hdfs dfs -du -h / hbase / data / default / (또는 사용하는 hbase 버전에 따라 / hbase /)
그러면 테이블의 파일에서 사용되는 공간이 표시됩니다.
희망이 도움이 될 것입니다.
-
==============================
2.0.98+ 시도 hadoop fs -du -s -h $ hbase_root_dir / data / data / $ schema_name / (또는 / hbase / 0.94)
0.98+ 시도 hadoop fs -du -s -h $ hbase_root_dir / data / data / $ schema_name / (또는 / hbase / 0.94)
클러스터의 hbase-site.xml 파일에서 hbase_root_dir을 찾을 수 있습니다. 위의 명령은 각 테이블에서 사용되는 디스크 요약을 제공합니다.
-
==============================
3.너를 사용해라.
너를 사용해라.
사용법 : hdfs dfs -du [-s] [-h] URI [URI ...]
지정된 디렉토리에 포함 된 파일 및 디렉토리의 크기 또는 해당 파일의 경우 파일 길이를 표시합니다.
옵션 :
-s 옵션을 사용하면 개별 파일 대신 파일 길이가 요약되어 표시됩니다.
-h 옵션은 파일 크기를 "사람이 읽을 수있는"형식으로 지정합니다 (예 : 67108864 대신 64.0m)
예:
hdfs dfs -du -h /hbase/data/default
나를 위해 출력 :
1.2 M /hbase/data/default/kylin_metadata 14.0 K /hbase/data/default/kylin_metadata_acl 636 /hbase/data/default/kylin_metadata_user 5.6 K /hbase/data/default/test
from https://stackoverflow.com/questions/28729257/how-do-i-determine-the-size-of-my-hbase-tables-is-there-any-command-to-do-so by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Mapreduce / Hadoop의 두 가지 데이터 세트 조인 (0) | 2019.07.09 |
---|---|
[HADOOP] MapReduce / Hadoop으로 고유 값 계산을 구현하는 방법은 무엇입니까? (0) | 2019.07.09 |
[HADOOP] .NET에서 Hadoop / Hive에 연결하는 방법 (0) | 2019.07.09 |
[HADOOP] 아파치 드릴 vs 스파크 (0) | 2019.07.09 |
[HADOOP] YARN의 응용 프로그램 관리자와 응용 프로그램 관리자의 차이점은 무엇입니까? (0) | 2019.07.09 |