복붙노트

[HADOOP] HBase 테이블의 크기는 어떻게 결정합니까? 그렇게 할 수있는 명령이 있습니까?

HADOOP

HBase 테이블의 크기는 어떻게 결정합니까? 그렇게 할 수있는 명령이 있습니까?

Hbase 쉘에 파일 시스템에 복사하려는 테이블이 여러 개 있습니다. 일부 테이블은 100GB를 초과합니다. 그러나 필자는 로컬 파일 시스템에 55GB의 여유 공간 만 남겨두고 있습니다. 따라서 작은 테이블 만 내보낼 수 있도록 hbase 테이블의 크기를 알고 싶습니다. 모든 제안을 부탁드립니다.

Tenks, 가우 탐

해결법

  1. ==============================

    1.시험 hdfs dfs -du -h / hbase / data / default / (또는 사용하는 hbase 버전에 따라 / hbase /)

    시험 hdfs dfs -du -h / hbase / data / default / (또는 사용하는 hbase 버전에 따라 / hbase /)

    그러면 테이블의 파일에서 사용되는 공간이 표시됩니다.

    희망이 도움이 될 것입니다.

  2. ==============================

    2.0.98+ 시도 hadoop fs -du -s -h $ hbase_root_dir / data / data / $ schema_name / (또는 / hbase / 0.94)

    0.98+ 시도 hadoop fs -du -s -h $ hbase_root_dir / data / data / $ schema_name / (또는 / hbase / 0.94)

    클러스터의 hbase-site.xml 파일에서 hbase_root_dir을 찾을 수 있습니다. 위의 명령은 각 테이블에서 사용되는 디스크 요약을 제공합니다.

  3. ==============================

    3.너를 사용해라.

    너를 사용해라.

    사용법 : hdfs dfs -du [-s] [-h] URI [URI ...]

    지정된 디렉토리에 포함 된 파일 및 디렉토리의 크기 또는 해당 파일의 경우 파일 길이를 표시합니다.

    옵션 :

    -s 옵션을 사용하면 개별 파일 대신 파일 길이가 요약되어 표시됩니다.

    -h 옵션은 파일 크기를 "사람이 읽을 수있는"형식으로 지정합니다 (예 : 67108864 대신 64.0m)

    예:

    hdfs dfs -du -h /hbase/data/default
    

    나를 위해 출력 :

    1.2 M    /hbase/data/default/kylin_metadata
    14.0 K   /hbase/data/default/kylin_metadata_acl
    636      /hbase/data/default/kylin_metadata_user
    5.6 K    /hbase/data/default/test
    
  4. from https://stackoverflow.com/questions/28729257/how-do-i-determine-the-size-of-my-hbase-tables-is-there-any-command-to-do-so by cc-by-sa and MIT license