[HADOOP] '--map 열 - 하이브'무시 Sqoop을 기능
HADOOP'--map 열 - 하이브'무시 Sqoop을 기능
나는 마루로 하이브로 파일을 가져하려고하고 --map 열 - 하이브 COLUMN_NAME = 타임 스탬프는 무시되고있다. 열 'COLUMN_NAME'는 원래 SQL에 입력 한 날짜의이며 마루에서 BIGINT로 변환합니다. 나는 Sqoop을 통해 타임 스탬프 형식으로 변환하고 싶지만 작동하지 않습니다.
sqoop import \
--table table_name \
--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \
--connect jdbc:sqlserver://servername \
--username user --password pw \
--map-column-hive column_name=timestamp\
--as-parquetfile \
--hive-import \
--hive-table table_name -m 1
내가 하이브에서 테이블을 볼 때, 그것은 여전히 원래의 데이터 유형 컬럼을 보여줍니다.
나는 COLUMN_NAME = 문자열을 시도하고 그 중 하나가 작동하지 않았다.
나는 마루에 파일을 변환하여이 문제가 될 수 있습니다 생각하지만 난 모르겠습니다. 사람이이 문제를 해결할 수있는 솔루션이 있습니까?
명령을 실행, 그냥 명령이 존재하지 않는 것처럼 가져 오기를 완료 할 때 나는 오류를 얻을 수 없습니다.
해결법
-
==============================
1.마루 Serde에서 지원 하이브 1.2 버전의 타임 스탬프하기 전에 사용할 수 없습니다. 이진 데이터 형식 지원은 1.1.0에서 사용할 수 있습니다.
마루 Serde에서 지원 하이브 1.2 버전의 타임 스탬프하기 전에 사용할 수 없습니다. 이진 데이터 형식 지원은 1.1.0에서 사용할 수 있습니다.
링크를 확인하시기 바랍니다
1.2 버전을 업그레이드 한 후, 그것을 작동합니다 바랍니다.
Please check the issue log and release notes below. https://issues.apache.org/jira/browse/HIVE-6384 https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12329345&styleName=Text&projectId=12310843
from https://stackoverflow.com/questions/39798900/sqoop-function-map-column-hive-being-ignored by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡에서의 ClassNotFoundException (0) | 2019.10.21 |
---|---|
[HADOOP] 실패 기어 (0) | 2019.10.21 |
[HADOOP] 하이브 해시 널 0의 결과로 기능, 1, 그 이유는 무엇입니까? (0) | 2019.10.21 |
[HADOOP] 돼지에서 NOT IN 절 (0) | 2019.10.21 |
[HADOOP] 파이썬 모듈 impyla를 사용하여 Kerberos를의 하둡 클러스터에 연결 (0) | 2019.10.21 |