복붙노트

[HADOOP] GZIP 데이터의 압축 / 압축 해제 하둡 / PIG 투명인가?

HADOOP

GZIP 데이터의 압축 / 압축 해제 하둡 / PIG 투명인가?

나는 하둡은 압축 및 압축 해제를위한 내장 지원이 어딘가에 읽을 수 있지만 나는 (일부 속성을 설정하여)는 매퍼 출력에 대한 추측?

압축으로 데이터를 압축 된 데이터를 읽거나 출력 내가 사용할 수있는 특정 돼지로드 / 저장 기능이 있을까?

해결법

  1. ==============================

    1.PigStorage은 파일 이름을 검사하여 압축 된 입력을 처리 :

    PigStorage은 파일 이름을 검사하여 압축 된 입력을 처리 :

    출력은 일부 속성을 통해 처리됩니다

    당신이 그것까지 느끼는 경우 PigStorage.java을 파고하면 관심을 가질

  2. from https://stackoverflow.com/questions/9896584/is-compression-decompression-of-gzip-data-transparent-in-hadoop-pig by cc-by-sa and MIT license