복붙노트

[HADOOP] '--map 열 - 하이브'무시 Sqoop을 기능

HADOOP

'--map 열 - 하이브'무시 Sqoop을 기능

나는 마루로 하이브로 파일을 가져하려고하고 --map 열 - 하이브 COLUMN_NAME = 타임 스탬프는 무시되고있다. 열 'COLUMN_NAME'는 원래 SQL에 입력 한 날짜의이며 마루에서 BIGINT로 변환합니다. 나는 Sqoop을 통해 타임 스탬프 형식으로 변환하고 싶지만 작동하지 않습니다.

sqoop import \

--table table_name \

--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \

--connect jdbc:sqlserver://servername \

--username user --password pw \

--map-column-hive column_name=timestamp\

--as-parquetfile \

--hive-import \

--hive-table table_name -m 1

내가 하이브에서 테이블을 볼 때, 그것은 여전히 ​​원래의 데이터 유형 컬럼을 보여줍니다.

나는 COLUMN_NAME = 문자열을 시도하고 그 중 하나가 작동하지 않았다.

나는 마루에 파일을 변환하여이 문제가 될 수 있습니다 생각하지만 난 모르겠습니다. 사람이이 문제를 해결할 수있는 솔루션이 있습니까?

명령을 실행, 그냥 명령이 존재하지 않는 것처럼 가져 오기를 완료 할 때 나는 오류를 얻을 수 없습니다.

해결법

  1. ==============================

    1.마루 Serde에서 지원 하이브 1.2 버전의 타임 스탬프하기 전에 사용할 수 없습니다. 이진 데이터 형식 지원은 1.1.0에서 사용할 수 있습니다.

    마루 Serde에서 지원 하이브 1.2 버전의 타임 스탬프하기 전에 사용할 수 없습니다. 이진 데이터 형식 지원은 1.1.0에서 사용할 수 있습니다.

    링크를 확인하시기 바랍니다

    1.2 버전을 업그레이드 한 후, 그것을 작동합니다 바랍니다.

    Please check the issue log and release notes below.
    
    https://issues.apache.org/jira/browse/HIVE-6384
    
    https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12329345&styleName=Text&projectId=12310843
    
  2. from https://stackoverflow.com/questions/39798900/sqoop-function-map-column-hive-being-ignored by cc-by-sa and MIT license