[HADOOP] 사용자 정의 inputformat 하둡 0.20에 protobufs를 처리하는
HADOOP사용자 정의 inputformat 하둡 0.20에 protobufs를 처리하는
나는 하둡을 사용 protobufs을 처리하려면 ....하지만 어디서부터 시작 확실하지 오전 것입니다. 나는 큰 파일을 분할에 대해 걱정하지 않는다. protobufs는 이진 데이터로 저장됩니다 ... 어떤 클래스 것은 나는 그것을 쉽게하기 위해 확장해야
해결법
-
==============================
1.코끼리 새가 하둡을 사용 protobufs을 처리 할 수 있습니다. 이 프레임 워크는 일반 protobuf 클래스와 함께 하둡 I / O 클래스를 생성합니다. 그것은 LZO 압축을 사용한다.
코끼리 새가 하둡을 사용 protobufs을 처리 할 수 있습니다. 이 프레임 워크는 일반 protobuf 클래스와 함께 하둡 I / O 클래스를 생성합니다. 그것은 LZO 압축을 사용한다.
from https://stackoverflow.com/questions/5254281/custom-inputformat-to-process-protobufs-in-hadoop-0-20 by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡 MapReduce를 가진 이미지 처리 [폐쇄] (0) | 2019.09.24 |
---|---|
[HADOOP] 돼지 스크립트는 카산드라 테이블을 읽기 (0) | 2019.09.24 |
[HADOOP] HBase를 하둡 (0) | 2019.09.24 |
[HADOOP] 찾거나 하둡의 메인 클래스의 오류를로드 할 수 없습니다 (0) | 2019.09.24 |
[HADOOP] 아파치 돼지 아래 가방에서 모든 가능한 순열을 찾는 방법 (0) | 2019.09.24 |