[HADOOP] MySQL의에서 HBase를에 연속 데이터 마이그레이션

MySQL의에서 HBase를에 연속 데이터 마이그레이션

나는 실시간 분석 목적을 위해 하둡과 HBase를 설치했습니다. 내가 직면 문제는 HBase를 MySQL에서 줄에 데이터를 마이그레이션하는 것입니다.

Sqoop을 도구는 대량의 데이터 마이그레이션을 할 때 유용합니다, MySQL의에서 데이터 라인 (다음 거기 삽입 / 갱신 / 일 삭제할 때)에 HBase를로 옮겨진 할 수있는 방법이있다. 그래야 실시간 분석을 달성 할 수있다. 아니 거의 실시간.

이 안부에서 저를 도와주세요.

해결법

1. ==============================

   1.난 당신이 다른 DBMS 사이에 복제를 설정하는 작업을 직면 생각합니다. 기본 복제 메커니즘이 유용하지 않을 때 그것은 경우입니다. 데이터가 몇 가지 추가 테이블에 복제 될 쓰기 - 간단한 솔루션은 복제 할 테이블을 통해 트리거 세트 만들 것입니다. 그럼 당신은이 테이블을 모니터링 설정하고 HBase와 변경 사항을 적용 할 수 있습니다. 더 강력한, 그러나 더 복잡한 솔루션은 MySQL의 로그는 기본 복제 메커니즘에 사용되는 분석하고 HBase와에 변경 사항을 적용하는 것입니다. 나 HBase를 당신에게 실시간 분석을 줄 것이다 괭이에 같은 시간에 그것은 명확하지 않다. 여기이 문제에 대해 ABIT을 썼다 : 에서 HBase를하여 그룹

   난 당신이 다른 DBMS 사이에 복제를 설정하는 작업을 직면 생각합니다. 기본 복제 메커니즘이 유용하지 않을 때 그것은 경우입니다. 데이터가 몇 가지 추가 테이블에 복제 될 쓰기 - 간단한 솔루션은 복제 할 테이블을 통해 트리거 세트 만들 것입니다. 그럼 당신은이 테이블을 모니터링 설정하고 HBase와 변경 사항을 적용 할 수 있습니다. 더 강력한, 그러나 더 복잡한 솔루션은 MySQL의 로그는 기본 복제 메커니즘에 사용되는 분석하고 HBase와에 변경 사항을 적용하는 것입니다. 나 HBase를 당신에게 실시간 분석을 줄 것이다 괭이에 같은 시간에 그것은 명확하지 않다. 여기이 문제에 대해 ABIT을 썼다 : 에서 HBase를하여 그룹

2. ==============================

   2.프로젝트에서 하이브를 사용하는 위치에 대한 자세한 정보를 추가하려면, 당신은 함께 작동하도록 하이브와 HBase를 통합 할 수있는 여러 설정이 있습니다. 예를 들어, 당신은 AWS를 사용하는 경우, 당신은 함께 하이브 테이블과 HBase와 테이블에 조인 쿼리 실행하는 같은 하둡 클러스터에서 HBase를 / 하이브를 설치할 수 있습니다. 또는 당신은 당신의 하이브 쿼리에서 두 개의 서로 다른 클러스터 및 참조 HBase를 데이터로 HBase를하고 하이브를 분리 할 수 ​​있습니다. 당신은 클라우 데라 배포판을 사용하는 경우, 당신도 같은 일을 할 수 있습니다.

   프로젝트에서 하이브를 사용하는 위치에 대한 자세한 정보를 추가하려면, 당신은 함께 작동하도록 하이브와 HBase를 통합 할 수있는 여러 설정이 있습니다. 예를 들어, 당신은 AWS를 사용하는 경우, 당신은 함께 하이브 테이블과 HBase와 테이블에 조인 쿼리 실행하는 같은 하둡 클러스터에서 HBase를 / 하이브를 설치할 수 있습니다. 또는 당신은 당신의 하이브 쿼리에서 두 개의 서로 다른 클러스터 및 참조 HBase를 데이터로 HBase를하고 하이브를 분리 할 수 ​​있습니다. 당신은 클라우 데라 배포판을 사용하는 경우, 당신도 같은 일을 할 수 있습니다.

   참고:

from https://stackoverflow.com/questions/9919638/continuous-data-migration-from-mysql-to-hbase by cc-by-sa and MIT license