[HADOOP] 어떻게 CSV 또는 TSV에 HDFS 파일을 변환합니다.
HADOOP어떻게 CSV 또는 TSV에 HDFS 파일을 변환합니다.
나는 CSV 또는 TSV에 HDFS 파일 형식을 변환해야 사용 사례가 있습니다. 나는 우리가 HDFS 파일 형식의 상단에 하이브 테이블을 만들고보다 것은 필요한 형식으로 데이터를 저장할 수있는 방법을 알고있다. 그러나, 나는 (테이블을 만들 열 이름과 같은) 데이터의 정보가 필요합니다. 하이브 또는 CSV 또는 TSV에 HDFS의 파일 형식을 변환 다른 뭔가를 사용하는 다른 방법이 있습니까?
해결법
-
==============================
1.우선 .. CSV로 데이터를 변환하거나 한번 확인하시기 바랍니다 구조로 당신이 당신의 데이터를 필요로한다 TSV합니다. 당신이 하이브를 사용하여 데이터를 변환하기 위해 지정한 방법은 옵션들 중 하나입니다. 다른 옵션은 불꽃을 사용하는 것입니다. - 여기 구조화 된 형식으로 데이터를 읽을 수 있고 다음 CSV로 변환해야 저장하는 동안. 더 설명은 다음 링크를 참조하시기 바랍니다 :
우선 .. CSV로 데이터를 변환하거나 한번 확인하시기 바랍니다 구조로 당신이 당신의 데이터를 필요로한다 TSV합니다. 당신이 하이브를 사용하여 데이터를 변환하기 위해 지정한 방법은 옵션들 중 하나입니다. 다른 옵션은 불꽃을 사용하는 것입니다. - 여기 구조화 된 형식으로 데이터를 읽을 수 있고 다음 CSV로 변환해야 저장하는 동안. 더 설명은 다음 링크를 참조하시기 바랍니다 :
CSV에 스파크 SQL에서 데이터를 내보내는 방법
당신은 CSV로 데이터를 변환 할뿐만 아니라 파이썬을 사용할 수 있습니다.
from https://stackoverflow.com/questions/54034376/how-to-convert-hdfs-file-to-csv-or-tsv by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 설치 및 하둡에 elasticsearch 구성? (0) | 2019.10.22 |
---|---|
[HADOOP] 하둡 자바 파일을 컴파일 (0) | 2019.10.22 |
[HADOOP] 감속기 출력 파일에서 읽기 (0) | 2019.10.22 |
[HADOOP] 하둡은 하둡 1.0.4에서 업그레이드 한 후 실행되지 맵리 듀스 작업을 2.2.0 (0) | 2019.10.22 |
[HADOOP] 하둡은 TestDFSIO 벤치 마크를 2.6.0 (0) | 2019.10.22 |