복붙노트

[HADOOP] 스파크 데이터 세트 쓰기의 차이점

HADOOP

스파크 데이터 세트 쓰기의 차이점

Spark-Java를 사용하고 있습니다.

알아야 할 사항 Hadoop 메소드에 다음과 같은 쓰기 작업 사이에 차이점 (성능 등)이 있는지 확인해야합니다.

ds.write().mode(mode).format("orc").save(path);

또는

ds.write().mode(mode).orc(path);

감사.

해결법

  1. ==============================

    1.다른 점이 없다

    다른 점이 없다

    orc (경로)는 단순히 형식 ( "orc")의 바로 가기 방법입니다 save (경로)

    동일한 형식의 .json (path) 및 csv (path)를 기본 서식 (Parke)이없는 형식으로 사용합니다

  2. from https://stackoverflow.com/questions/51595247/difference-between-spark-dataset-write by cc-by-sa and MIT license