[HADOOP] 고정 된 길이의 파일을 처리하기위한 하이브 테이블 만들기
HADOOP고정 된 길이의 파일을 처리하기위한 하이브 테이블 만들기
난 내가 정규식을 사용하여 외부 테이블을 만들 필요가있는 정상에 HDFS에서 고정 길이 파일이 있습니다. 내 파일은 다음과 같은 것입니다 :
12piyush34stack10
13pankaj21abcde41
나는 그것이 같은 테이블로 변환하려면 :
key_column Value_column
---------- -----------------
1234stack 12piyush34stack10
1321stack 13pankaj21abcde41
내가 삽입을 사용 SUBSTR으로도 시도하지만 난 key_columns를 가리 드릴 수 없습니다. 이 문제를 해결하는 데 도움 주시기 바랍니다.
해결법
-
==============================
1.당신이 정규 표현식 외부 테이블을 사용했습니다 왜하지만 방법은 또한 필요한 다른 문자열 조작을 사용할 수 없습니다 운동 않도록 모르겠어요.
당신이 정규 표현식 외부 테이블을 사용했습니다 왜하지만 방법은 또한 필요한 다른 문자열 조작을 사용할 수 없습니다 운동 않도록 모르겠어요.
내 경우, 나는 정규 표현식 serde 테이블은 두 개의 열 (KEY_COLUMN, VALUE_COLUMN)를 만들고 다음과 같이 단지 serde 옵션을 지정 만들 것입니다 :
공간을 쓸 것이다 출력 옵션은 대응하는 순서에 의해 데이터 열을 분리 하였다.
아직 테스트하지 않은 백 슬래시를 잘 자바 해석하지 않을 수 있습니다 마음.
from https://stackoverflow.com/questions/22328904/creating-hive-table-for-handling-fixed-length-file by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] (HCatOutputFormat를 초기화) 맵리 듀스에서 하이브 쓰기 (0) | 2019.10.15 |
---|---|
[HADOOP] 하이브 :지도를 CONCAT (0) | 2019.10.15 |
[HADOOP] 우리는 어떻게지도 함수는 맵리 듀스 프로그램에서 호출 횟수를 계산합니까? (0) | 2019.10.14 |
[HADOOP] 클라우 데라 매니저 API를 통해 다시 시작 JobTracker에 (0) | 2019.10.14 |
[HADOOP] 자바를 사용하여 HBase를 어떤 세 임의 규정 검색 (0) | 2019.10.14 |