[HADOOP] 어떻게 HBase를에 플랫 파일 (안 구분 된 파일)을로드?

어떻게 HBase를에 플랫 파일 (안 구분 된 파일)을로드?

나는 HBase를 새로운 오전과 내가 플랫 파일 내가 하나의 HBase를 테이블에로드하고 싶은 (안 구분 된 파일)을 가지고있다.

여기 내 파일에서 행의 미리보기입니다 :

나는 위치 1에서 7로는 ID의 위치 7에서 15로는 날짜 있다는 예를 들어 알고 ....

문제는 구분 된 파일로 변환하거나 내가 밑받침 BigInsights 함께 일하고 있어요 때문에 jaql를 사용하여 해당 파일을 읽을 수있는 방법이 내 파일이나 경우에 해당 스키마를 구축하는 방법이다.

어떤 도움을 크게 감상 할 수있다.

미리 감사드립니다.

해결법

1. ==============================

   1.RegExSerDe를 사용하여 하이브 테이블 만들기

   RegExSerDe를 사용하여 하이브 테이블 만들기

   CREATE EXTERNAL TABLE testtable ((col1 STRING, col2 STRING, col3 STRING)
   ROW FORMAT SERDE ‘org.apache.hadoop.hive.contrib.serde2.RegexSerDe’
   WITH SERDEPROPERTIES (“input.regex” = “(.{5})(.{6})(.{3}).*” )
   LOCATION ‘<hdfs-file-location>’;
   

   당신은 HBase를에 하이브 테이블을 가리키는를 만들 수 있습니다 다음 지침은 http://hortonworks.com/blog/hbase-via-hive-part-1/

   당신이 사용할 수있는 HBase를 테이블에 하이브 테이블에서 데이터를로드 덮어 쓰기 표를 삽입 https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SELECTSandFILTERS

2. ==============================

   2.당신은 하이브로 직렬화 및 HBase를 수출하는 하이브를 사용하도록 SerDe를 작성할 수 있습니다.

   당신은 하이브로 직렬화 및 HBase를 수출하는 하이브를 사용하도록 SerDe를 작성할 수 있습니다.

from https://stackoverflow.com/questions/36703803/how-to-load-a-flat-filenot-delimited-file-into-hbase by cc-by-sa and MIT license