복붙노트

[HADOOP] 사용자 정의 inputformat 하둡 0.20에 protobufs를 처리하는

HADOOP

사용자 정의 inputformat 하둡 0.20에 protobufs를 처리하는

나는 하둡을 사용 protobufs을 처리하려면 ....하지만 어디서부터 시작 확실하지 오전 것입니다. 나는 큰 파일을 분할에 대해 걱정하지 않는다. protobufs는 이진 데이터로 저장됩니다 ... 어떤 클래스 것은 나는 그것을 쉽게하기 위해 확장해야

해결법

  1. ==============================

    1.코끼리 새가 하둡을 사용 protobufs을 처리 할 수 ​​있습니다. 이 프레임 워크는 일반 protobuf 클래스와 함께 하둡 I / O 클래스를 생성합니다. 그것은 LZO 압축을 사용한다.

    코끼리 새가 하둡을 사용 protobufs을 처리 할 수 ​​있습니다. 이 프레임 워크는 일반 protobuf 클래스와 함께 하둡 I / O 클래스를 생성합니다. 그것은 LZO 압축을 사용한다.

  2. from https://stackoverflow.com/questions/5254281/custom-inputformat-to-process-protobufs-in-hadoop-0-20 by cc-by-sa and MIT license