복붙노트

[HADOOP] HBase에서 Hive로 테이블을 옮기는 방법은 무엇입니까?

HADOOP

HBase에서 Hive로 테이블을 옮기는 방법은 무엇입니까?

HBase 테이블을 하이브로 올바르게 전송하려면 어떻게해야합니까?

내가 전에 시도한 것은이 질문에서 읽을 수 있는가? diff where where 절을 사용하여 하이브에 테이블을 덮어 쓰는 방법은 무엇입니까? (모든 데이터를 가져 오기 위해 하나의 테이블을 만들었습니다. 데이터는 열이 아니라 행에 여전히 있습니다. 따라서 뉴스, 소셜 및 모든 특정 where 절을 사용하여 3 개의 테이블을 만들었습니다. 나에게 결과 테이블을주는 테이블. 그래서 나는 정말로 performant가 아닌 6 개의 테이블을 가지고 있었다!)

내 문제를 요약해라. HBase에서는 이처럼 행으로 저장되는 열 패밀리이다.

count   verpassen   news    1
count   verpassen   social  0
count   verpassen   all 1

하이브에서 내가 원하는 것은 다음과 같은 데이터 구조입니다.

name      news    social   all
verpassen 1       0        1

어떻게해야합니까?

해결법

  1. ==============================

    1.사용법이 사용할 수있는 접근법은 다음과 같습니다.

    사용법이 사용할 수있는 접근법은 다음과 같습니다.

    hiber storage handler를 사용하여 하이브에 테이블을 생성한다.

    예제 스크립트

    내가 제공 한 샘플 데이터를 하이브 외부 테이블에로드했습니다.

    데이터를 이름별로 그룹화합니다. 위 쿼리의 결과는 다음과 같습니다.

    이제 입력을 입력 매개 변수로 가져 와서 값을내는 사용자 지정 매퍼를 작성했습니다.

    또는 출력을 사용하여 열 이름이있는 다른 테이블에 삽입 할 수 있습니다. name, all, social, news

    희망이 도움이

  2. from https://stackoverflow.com/questions/33440186/how-transfer-a-table-from-hbase-to-hive by cc-by-sa and MIT license