[HADOOP] 어떻게 하이브에 mysql 테이블을 전송?
HADOOP어떻게 하이브에 mysql 테이블을 전송?
Hadoop / Hive 테이블로 전송하려는 큰 MySQL 테이블이 있습니다. Mysql에서 Hive로 간단한 (그러나 큰) 테이블을 전송하는 표준 명령이나 기술이 있습니까? 이 테이블에는 주로 분석 데이터가 저장됩니다.
해결법
-
==============================
1.test - 데이터베이스 이름
test - 데이터베이스 이름
employee - 테이블 이름 (테스트 중 있음)
/ user / hive / warehouse - 데이터를 가져와야하는 HDFS의 디렉토리
--split-by id - id는 'employee'테이블의 기본 키가 될 수 있습니다.
- 하이브에 정의가있는 --hive-table employee - employee 테이블
Sqoop 사용자 가이드 (Sqoop을 배우기위한 최고의 가이드 중 하나)
-
==============================
2.다음을보십시오 : http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive
다음을보십시오 : http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive
-
==============================
3.Apache Sqoop은이 문제를 해결하는 도구입니다.
Apache Sqoop은이 문제를 해결하는 도구입니다.
from https://stackoverflow.com/questions/4632514/how-to-transfer-mysql-table-to-hive by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop 자바에서 json 입력을 파싱하기 (0) | 2019.07.27 |
---|---|
[HADOOP] Java를 사용하여 Hadoop에서 오프셋 된 파일을 읽는 방법 (0) | 2019.07.27 |
[HADOOP] 대략 "장치에 남은 공간 없음"을 얻습니다. EMR m1.large 인스턴스에 10GB의 데이터 (0) | 2019.07.27 |
[HADOOP] Hadoop 돼지 - csv 헤더 제거 (0) | 2019.07.27 |
[HADOOP] 설치시 하이브가 작동하지 않습니다. (0) | 2019.07.26 |