복붙노트

[HADOOP] 하이브 : 기존 폴더 구조에 대한 파티션을 추가

HADOOP

하이브 : 기존 폴더 구조에 대한 파티션을 추가

나는 다음과 같은 HDFS에서 폴더 구조를 가지고있다. 그러나, 파티션은 실제로 ALTER TABLE은 테이블이 파티션을 가진 것처럼 폴더 구조를 설정했다하더라도, 파티션 명령을 추가 사용하여 테이블에 생성되지 않았다.

어떻게 자동으로 하이브 테이블의 모든 파티션을 추가 할 수 있습니까? (하이브 1.0, 외부 테이블)

/user/frank/clicks.db
  /date=20190401
    /file0004.csv
  /date=20190402
    /file0009.csv
  /date=20190501
    /file0000.csv
    /file0001.csv
...etc

해결법

  1. ==============================

    1.msck 수리 테이블 명령을 사용합니다 :

    msck 수리 테이블 명령을 사용합니다 :

    MSCK [REPAIR] TABLE tablename;
    

    또는

    ALTER TABLE tablename RECOVER PARTITIONS;
    

    당신은 EMR에 하이브를 실행하는 경우.

    여기에 두 명령에 대한 자세한 내용을 읽어 : 파티션을 복구

  2. from https://stackoverflow.com/questions/57032803/hive-add-partitions-for-existing-folder-structure by cc-by-sa and MIT license