복붙노트

[HADOOP] Google Bigquery : 호환되지 않는 테이블 분할 사양

HADOOP

Google Bigquery : 호환되지 않는 테이블 분할 사양

파티션이없는 임시 테이블에서 파티션이있는 최종 테이블로 복사 작업을 제출하는 동안 수신합니다.

cause:java.io.IOException: ErrorMessage: Incompatible table partitioning specification. Expects partitioning specification interval(type:day), but input partitioning specification is none; 

그렇다면 복사 작업을 분할 된 테이블에 대한 입력 테이블에 제한이 있습니까? 어떻게 극복 할 수 있습니까? 임시 테이블은 Load job을 사용하여 hadoop bigquery-connector 클래스 내에 생성된다. 그리고 JobConfigurationLoad에는 TimePartitioning의 지정이 전혀 없습니다.

해결법

  1. ==============================

    1.당일 원하는 날에 파티션 메타 테이블을 사용해 볼 수 있습니까? 이 시나리오를 지원하기 위해 내부적으로 문제를 제기했습니다. 다음과 같은 것이 효과가있다.

    당일 원하는 날에 파티션 메타 테이블을 사용해 볼 수 있습니까? 이 시나리오를 지원하기 위해 내부적으로 문제를 제기했습니다. 다음과 같은 것이 효과가있다.

    bq --project_id=<project> cp <source_table> <destination_partitioned_table$20160809>
    
  2. from https://stackoverflow.com/questions/38852715/google-bigquery-incompatible-table-partitioning-specification by cc-by-sa and MIT license