[HADOOP] HBase에서 Hive로 테이블을 옮기는 방법은 무엇입니까?
HADOOPHBase에서 Hive로 테이블을 옮기는 방법은 무엇입니까?
HBase 테이블을 하이브로 올바르게 전송하려면 어떻게해야합니까?
내가 전에 시도한 것은이 질문에서 읽을 수 있는가? diff where where 절을 사용하여 하이브에 테이블을 덮어 쓰는 방법은 무엇입니까? (모든 데이터를 가져 오기 위해 하나의 테이블을 만들었습니다. 데이터는 열이 아니라 행에 여전히 있습니다. 따라서 뉴스, 소셜 및 모든 특정 where 절을 사용하여 3 개의 테이블을 만들었습니다. 나에게 결과 테이블을주는 테이블. 그래서 나는 정말로 performant가 아닌 6 개의 테이블을 가지고 있었다!)
내 문제를 요약해라. HBase에서는 이처럼 행으로 저장되는 열 패밀리이다.
count verpassen news 1
count verpassen social 0
count verpassen all 1
하이브에서 내가 원하는 것은 다음과 같은 데이터 구조입니다.
name news social all
verpassen 1 0 1
어떻게해야합니까?
해결법
-
==============================
1.사용법이 사용할 수있는 접근법은 다음과 같습니다.
사용법이 사용할 수있는 접근법은 다음과 같습니다.
hiber storage handler를 사용하여 하이브에 테이블을 생성한다.
예제 스크립트
내가 제공 한 샘플 데이터를 하이브 외부 테이블에로드했습니다.
데이터를 이름별로 그룹화합니다. 위 쿼리의 결과는 다음과 같습니다.
이제 입력을 입력 매개 변수로 가져 와서 값을내는 사용자 지정 매퍼를 작성했습니다.
또는 출력을 사용하여 열 이름이있는 다른 테이블에 삽입 할 수 있습니다. name, all, social, news
희망이 도움이
from https://stackoverflow.com/questions/33440186/how-transfer-a-table-from-hbase-to-hive by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 돼지에 JSON 배열로드하기 (0) | 2019.07.02 |
---|---|
[HADOOP] 분산 캐시 (0) | 2019.07.02 |
[HADOOP] 날짜 별 Java MapReduce 계산 (0) | 2019.07.02 |
[HADOOP] spark - java 힙 공간 문제 - ExecutorLostFailure - 상태 143으로 종료 된 컨테이너 (0) | 2019.07.02 |
[HADOOP] 하이브 "ANALYZE TABLE"자바에서 실행하는 방법 (0) | 2019.07.02 |