[HADOOP] 하둡에 InputFormat 사용자 정의
HADOOP하둡에 InputFormat 사용자 정의
나는 지리 참조 된 시계열 데이터로 구성되어 매우 큰, 데이타베이스를 형성 읽으려고하고있다. 그래서 나는 다음과 같은 형식의 파일이 있습니다 :
위도, 경도 값 @ 시간 1, 값 @의 TIME2 .... 값 @의 timeN.
그래서이 지구 전체에 대한 데이터입니다. 이제 내 일을 내가 경도 키와 값으로 시계열 값으로, 위도를 얻을 필요가있다. 내가 아는 한 하둡은 KeyValueInputFormat을 가지고 있지만 구분 기호로 첫 번째 탭을 고려합니다. 그것을 사용자 정의 할 수있는 방법이 있나요.
정말 이것에 대한 솔루션이 필요합니다.
감사 Ayush
해결법
-
==============================
1.함께 놀러
함께 놀러
key.value.separator.in.input.line
작업 설정한다.
from https://stackoverflow.com/questions/11689972/customizing-inputformat-in-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] java.lang.ClassNotFoundException가 : org.apache.hive.service.cli.HiveSQLException (0) | 2019.10.09 |
---|---|
[HADOOP] 어떻게 맵리 듀스가 동시에 얼마나 많은 매퍼를 사용하여 말할? (0) | 2019.10.09 |
[HADOOP] HDFS 사용하여 스파크에 하르 파일을 Gzip으로 압축 (0) | 2019.10.09 |
[HADOOP] 사용자 정의 이진 입력 - 하둡 (0) | 2019.10.08 |
[HADOOP] 오류가 하둡의 HDFS에 로컬 파일 시스템에서 파일을 복사하는 동안 (0) | 2019.10.08 |