복붙노트

[HADOOP] 고정 된 길이의 파일을 처리하기위한 하이브 테이블 만들기

HADOOP

고정 된 길이의 파일을 처리하기위한 하이브 테이블 만들기

난 내가 정규식을 사용하여 외부 테이블을 만들 필요가있는 정상에 HDFS에서 고정 길이 파일이 있습니다. 내 파일은 다음과 같은 것입니다 :

12piyush34stack10
13pankaj21abcde41

나는 그것이 같은 테이블로 변환하려면 :

key_column   Value_column
----------   ----------------- 
1234stack    12piyush34stack10
1321stack    13pankaj21abcde41

내가 삽입을 사용 SUBSTR으로도 시도하지만 난 key_columns를 가리 드릴 수 없습니다. 이 문제를 해결하는 데 도움 주시기 바랍니다.

해결법

  1. ==============================

    1.당신이 정규 표현식 외부 테이블을 사용했습니다 왜하지만 방법은 또한 필요한 다른 문자열 조작을 사용할 수 없습니다 운동 않도록 모르겠어요.

    당신이 정규 표현식 외부 테이블을 사용했습니다 왜하지만 방법은 또한 필요한 다른 문자열 조작을 사용할 수 없습니다 운동 않도록 모르겠어요.

    내 경우, 나는 정규 표현식 serde 테이블은 두 개의 열 (KEY_COLUMN, VALUE_COLUMN)를 만들고 다음과 같이 단지 serde 옵션을 지정 만들 것입니다 :

    공간을 쓸 것이다 출력 옵션은 대응하는 순서에 의해 데이터 열을 분리 하였다.

    아직 테스트하지 않은 백 슬래시를 잘 자바 해석하지 않을 수 있습니다 마음.

  2. from https://stackoverflow.com/questions/22328904/creating-hive-table-for-handling-fixed-length-file by cc-by-sa and MIT license