[HADOOP] Avro와 MR을 사용하지 않고 Java API를 사용하여 HDFS에 쪽모작 형식 작성

Avro와 MR을 사용하지 않고 Java API를 사용하여 HDFS에 쪽모작 형식 작성

avro와 MR을 사용하지 않고 Pojo의 마루 (parquet) 스키마를 직접 생성하여 Java API를 사용하여 HDFS에 마루판 형식을 작성하는 간단한 방법은 무엇입니까?

내가 찾은 샘플은 오래되어 사용되지 않는 메소드를 사용하며 Avro, spark 또는 MR 중 하나를 사용합니다.

해결법

1. ==============================

   1.사실, 외부 프레임 워크의 도움없이 Apache 마루 파일을 읽거나 쓰는 데 사용할 수있는 샘플이 많지 않습니다.

   사실, 외부 프레임 워크의 도움없이 Apache 마루 파일을 읽거나 쓰는 데 사용할 수있는 샘플이 많지 않습니다.

   핵심 파케 팅 라이브러리는 몇 가지 테스트 파일을 직접 읽고 쓸 수있는 쪽 마루입니다. https://github.com/apache/parquet-mr/blob/master/parquet-column/src/test/java/org/ 아파치 / 마루 / io / TestColumnIO.java

   그런 다음 HDFS 파일과 동일한 기능을 사용해야합니다. 이 SOW 질문에 따라 다음을 수행 할 수 있습니다. Java를 사용하여 HDFS에서 파일 액세스

   업데이트 됨 : API의 지원 중단 된 부분에 응답 : AvroWriteSupport는 AvroParquetWriter로 대체되어야하며 ParquetWriter는 더 이상 사용되지 않으며 안전하게 사용할 수 있습니다.

   문안 인사,

   루이

from https://stackoverflow.com/questions/39202493/write-parquet-format-to-hdfs-using-java-api-with-out-using-avro-and-mr by cc-by-sa and MIT license