[HADOOP] GZIP 데이터의 압축 / 압축 해제 하둡 / PIG 투명인가?
HADOOPGZIP 데이터의 압축 / 압축 해제 하둡 / PIG 투명인가?
나는 하둡은 압축 및 압축 해제를위한 내장 지원이 어딘가에 읽을 수 있지만 나는 (일부 속성을 설정하여)는 매퍼 출력에 대한 추측?
압축으로 데이터를 압축 된 데이터를 읽거나 출력 내가 사용할 수있는 특정 돼지로드 / 저장 기능이 있을까?
해결법
-
==============================
1.PigStorage은 파일 이름을 검사하여 압축 된 입력을 처리 :
PigStorage은 파일 이름을 검사하여 압축 된 입력을 처리 :
출력은 일부 속성을 통해 처리됩니다
당신이 그것까지 느끼는 경우 PigStorage.java을 파고하면 관심을 가질
from https://stackoverflow.com/questions/9896584/is-compression-decompression-of-gzip-data-transparent-in-hadoop-pig by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 극적 장면 : 클라우 데라 하둡에 연결 임팔라를 사용하는 동안 오류 (0) | 2019.09.23 |
---|---|
[HADOOP] HBase를 연결하는 자바 API를 사용할 때 박히 (0) | 2019.09.23 |
[HADOOP] HBase를 설정 구성 : HMaster가 실행되고 있지 (0) | 2019.09.23 |
[HADOOP] 응용 프로그램으로 인해 오전 컨테이너에 2 번 실패가 ExitCode로 종료 : 1 (0) | 2019.09.23 |
[HADOOP] Dataproc에서 마스터 복제 오류에 타키온 (0) | 2019.09.23 |