[HADOOP] Google Bigquery : 호환되지 않는 테이블 분할 사양
HADOOPGoogle Bigquery : 호환되지 않는 테이블 분할 사양
파티션이없는 임시 테이블에서 파티션이있는 최종 테이블로 복사 작업을 제출하는 동안 수신합니다.
cause:java.io.IOException: ErrorMessage: Incompatible table partitioning specification. Expects partitioning specification interval(type:day), but input partitioning specification is none;
그렇다면 복사 작업을 분할 된 테이블에 대한 입력 테이블에 제한이 있습니까? 어떻게 극복 할 수 있습니까? 임시 테이블은 Load job을 사용하여 hadoop bigquery-connector 클래스 내에 생성된다. 그리고 JobConfigurationLoad에는 TimePartitioning의 지정이 전혀 없습니다.
해결법
-
==============================
1.당일 원하는 날에 파티션 메타 테이블을 사용해 볼 수 있습니까? 이 시나리오를 지원하기 위해 내부적으로 문제를 제기했습니다. 다음과 같은 것이 효과가있다.
당일 원하는 날에 파티션 메타 테이블을 사용해 볼 수 있습니까? 이 시나리오를 지원하기 위해 내부적으로 문제를 제기했습니다. 다음과 같은 것이 효과가있다.
bq --project_id=<project> cp <source_table> <destination_partitioned_table$20160809>
from https://stackoverflow.com/questions/38852715/google-bigquery-incompatible-table-partitioning-specification by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 아래 코드에서 객체가 어떻게 생성됩니까? (0) | 2019.07.02 |
---|---|
[HADOOP] 하이브에서 XML 태그 반복 구문 분석 (0) | 2019.07.02 |
[HADOOP] override SemanticException [오류 10001] (0) | 2019.07.02 |
[HADOOP] 이제 hadoop 및 spark가 IPv6을 지원합니까? (0) | 2019.07.02 |
[HADOOP] Hive 그룹에서 요소별로 배열 / 가방을 얻는 방법은? (0) | 2019.07.02 |