복붙노트

[HADOOP] 어떻게 하이브에 mysql 테이블을 전송?

HADOOP

어떻게 하이브에 mysql 테이블을 전송?

Hadoop / Hive 테이블로 전송하려는 큰 MySQL 테이블이 있습니다. Mysql에서 Hive로 간단한 (그러나 큰) 테이블을 전송하는 표준 명령이나 기술이 있습니까? 이 테이블에는 주로 분석 데이터가 저장됩니다.

해결법

  1. ==============================

    1.test - 데이터베이스 이름

    test - 데이터베이스 이름

    employee - 테이블 이름 (테스트 중 있음)

    / user / hive / warehouse - 데이터를 가져와야하는 HDFS의 디렉토리

    --split-by id - id는 'employee'테이블의 기본 키가 될 수 있습니다.

    - 하이브에 정의가있는 --hive-table employee - employee 테이블

    Sqoop 사용자 가이드 (Sqoop을 배우기위한 최고의 가이드 중 하나)

  2. ==============================

    2.다음을보십시오 : http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive

    다음을보십시오 : http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive

  3. ==============================

    3.Apache Sqoop은이 문제를 해결하는 도구입니다.

    Apache Sqoop은이 문제를 해결하는 도구입니다.

  4. from https://stackoverflow.com/questions/4632514/how-to-transfer-mysql-table-to-hive by cc-by-sa and MIT license