복붙노트

[HADOOP] 가장 좋은 방법은 Sqoop을, HDFS와 하이브를 작동하려면

HADOOP

가장 좋은 방법은 Sqoop을, HDFS와 하이브를 작동하려면

나는 (동일한 구조로, 필터없이) HDFS와 하이브 외부 테이블에 MySQL 데이터베이스의 모든 테이블을 가져 Sqoop을을 사용해야합니다

수입에서 나는 가지고 싶어 :

그런 다음 자동으로 모든 것을 할 수있는 Sqoop을 작업을 만듭니다.

(I는 약 60 테이블과 MySQL 데이터베이스를 가지고 있고, 각각의 새로운 클라이언트가 생산에가는, 새 테이블이 만들어집니다. 그래서는 자동으로 가능한 일 Sqoop을해야합니다)

모든 테이블을 가져 실행 첫 번째 명령했다 :

Sqoop을 수입하는 모든 테이블 --connect JDBC한다 : mysql : // IP / DB_NAME --username 사용자 --password 패스 --warehouse-DIR / 사용자 / HDFS / DB_NAME -m 1

여기에 특종 및 외부 하이브 테이블에 대한 지원은 지원 하이브 외부 테이블의 창조를 위해 추가 된 것을 말한다, 그러나 나는 언급 한 명령에 대한 문서와 예제를 찾을 수 없습니다

어떤 아이디어가 좋은 것입니다.

미리 감사드립니다.

편집 : 외부 하이브 테이블 (Sqoop을-816)에 대한 특종과 지원은 여전히 ​​해결되지 않은

해결법

    from https://stackoverflow.com/questions/42534490/best-practices-to-work-sqoop-hdfs-and-hive by cc-by-sa and MIT license