복붙노트

[HADOOP] Hive는 파티션 URL을 보여주기 위해 파티션을 설명합니다.

HADOOP

Hive는 파티션 URL을 보여주기 위해 파티션을 설명합니다.

나는 그것이 있다는 것을 안다.

DESCRIBE FORMATTED table_name;

그 표 형식을 보여줍니다. 별도의 파티션에 대한 자세한 정보를 얻을 수있는 방법이 있습니까?

SHOW PARTITIONS table_name;

나는 Hive 언어 매뉴얼에 이걸 보았다.

DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name PARTITION partition_spec

데이터가 저장된 hdfs 또는 s3의 url과 함께 모든 파티션을보고 싶습니다.

해결법

  1. ==============================

    1.파티션을 표시하려면,

    파티션을 표시하려면,

    show partitions table_name

    파티션이 물리적으로 저장된 위치를 표시하려면,

    형식화 된 dbname.tablename 파티션 (name = value)을 설명하십시오.

    나는 (파티션, 경로) 출력을 생성하는 내장 된 방법을 모르지만이 두 명령과 grep / awk 등을 사용하여 빌드 할 수있다.

  2. ==============================

    2.

    analyze table TABLENAME partition(the_partition) compute statistics nopass;
    

    위의 코드는 파티션 (파일 수, 행 수, 전체 크기)에 대한 자세한 정보를 제공하지만 정확한 위치를 알려주지는 않습니다.

    정확한 위치를 원할 경우, 외부 테이블을 작성할 수 있습니다.

  3. from https://stackoverflow.com/questions/22056402/hive-describe-partitions-to-show-partition-url by cc-by-sa and MIT license