[HADOOP] 스파크 데이터 세트 쓰기의 차이점
HADOOP스파크 데이터 세트 쓰기의 차이점
Spark-Java를 사용하고 있습니다.
알아야 할 사항 Hadoop 메소드에 다음과 같은 쓰기 작업 사이에 차이점 (성능 등)이 있는지 확인해야합니다.
ds.write().mode(mode).format("orc").save(path);
또는
ds.write().mode(mode).orc(path);
감사.
해결법
-
==============================
1.다른 점이 없다
다른 점이 없다
orc (경로)는 단순히 형식 ( "orc")의 바로 가기 방법입니다 save (경로)
동일한 형식의 .json (path) 및 csv (path)를 기본 서식 (Parke)이없는 형식으로 사용합니다
from https://stackoverflow.com/questions/51595247/difference-between-spark-dataset-write by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop에서 Peg에 Regex 사용하기 (0) | 2019.07.03 |
---|---|
[HADOOP] SPARK SQL은 지정된 파티션 경로가없는 경우 실패합니다. (0) | 2019.07.03 |
[HADOOP] Hadoop wordcount 예제를 실행할 때 작업 토큰 파일을 찾을 수 없습니다. (0) | 2019.07.03 |
[HADOOP] 스파크 스트리밍은 "cp"와 "mv"로 작동합니다. (0) | 2019.07.03 |
[HADOOP] 요청 된 주소를 할당 할 수 없습니다. (0) | 2019.07.03 |