[HADOOP] 가장 좋은 방법은 Sqoop을, HDFS와 하이브를 작동하려면
HADOOP가장 좋은 방법은 Sqoop을, HDFS와 하이브를 작동하려면
나는 (동일한 구조로, 필터없이) HDFS와 하이브 외부 테이블에 MySQL 데이터베이스의 모든 테이블을 가져 Sqoop을을 사용해야합니다
수입에서 나는 가지고 싶어 :
그런 다음 자동으로 모든 것을 할 수있는 Sqoop을 작업을 만듭니다.
(I는 약 60 테이블과 MySQL 데이터베이스를 가지고 있고, 각각의 새로운 클라이언트가 생산에가는, 새 테이블이 만들어집니다. 그래서는 자동으로 가능한 일 Sqoop을해야합니다)
모든 테이블을 가져 실행 첫 번째 명령했다 :
Sqoop을 수입하는 모든 테이블 --connect JDBC한다 : mysql : // IP / DB_NAME --username 사용자 --password 패스 --warehouse-DIR / 사용자 / HDFS / DB_NAME -m 1
여기에 특종 및 외부 하이브 테이블에 대한 지원은 지원 하이브 외부 테이블의 창조를 위해 추가 된 것을 말한다, 그러나 나는 언급 한 명령에 대한 문서와 예제를 찾을 수 없습니다
어떤 아이디어가 좋은 것입니다.
미리 감사드립니다.
편집 : 외부 하이브 테이블 (Sqoop을-816)에 대한 특종과 지원은 여전히 해결되지 않은
해결법
from https://stackoverflow.com/questions/42534490/best-practices-to-work-sqoop-hdfs-and-hive by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 클라우 데라 하이브 : 어디 JSON-serde-1.3.7 jar 파일을 추가합니다 (0) | 2019.09.18 |
---|---|
[HADOOP] WebHDFS을 사용하여 파일을 복사 (0) | 2019.09.18 |
[HADOOP] 어떻게 하이브, 돼지, Sqoop을하고 스파크의 이전 버전과 하둡-3.0.0의 호환성이 (0) | 2019.09.18 |
[HADOOP] 오류 : 감속기 단계에서 Java 힙 공간 (0) | 2019.09.18 |
[HADOOP] 어떻게 테이블, 열, 뷰, 제약 키와 주석 열 하이브의 메타 데이터를 얻으려면? (0) | 2019.09.18 |