[HADOOP] 하이브 : 기존 폴더 구조에 대한 파티션을 추가
HADOOP하이브 : 기존 폴더 구조에 대한 파티션을 추가
나는 다음과 같은 HDFS에서 폴더 구조를 가지고있다. 그러나, 파티션은 실제로 ALTER TABLE은 테이블이 파티션을 가진 것처럼 폴더 구조를 설정했다하더라도, 파티션 명령을 추가 사용하여 테이블에 생성되지 않았다.
어떻게 자동으로 하이브 테이블의 모든 파티션을 추가 할 수 있습니까? (하이브 1.0, 외부 테이블)
/user/frank/clicks.db
/date=20190401
/file0004.csv
/date=20190402
/file0009.csv
/date=20190501
/file0000.csv
/file0001.csv
...etc
해결법
-
==============================
1.msck 수리 테이블 명령을 사용합니다 :
msck 수리 테이블 명령을 사용합니다 :
MSCK [REPAIR] TABLE tablename;
또는
ALTER TABLE tablename RECOVER PARTITIONS;
당신은 EMR에 하이브를 실행하는 경우.
여기에 두 명령에 대한 자세한 내용을 읽어 : 파티션을 복구
from https://stackoverflow.com/questions/57032803/hive-add-partitions-for-existing-folder-structure by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 아파치 스파크에서 밑줄로 시작하는 파일에 액세스 (0) | 2019.10.04 |
---|---|
[HADOOP] 공기 흐름 DAG 실행을 사용하여 EMR 클러스터 창조, 작업이 완료되면 EMR이 종료됩니다 (0) | 2019.10.04 |
[HADOOP] 하둡에 명령 줄에서 텍스트를 작성 (0) | 2019.10.04 |
[HADOOP] subprocess.Popen를 사용하여 하둡 distcp (0) | 2019.10.04 |
[HADOOP] 하둡 미니 클러스터 모의 (MiniDFSCluster) (0) | 2019.10.04 |