[HADOOP] HDFS에서 Hive 테이블로 데이터 가져 오기
HADOOPHDFS에서 Hive 테이블로 데이터 가져 오기
HDFS의 data / 2011 / 01 / 13 / 0100 / file에 데이터가 있으며 각 파일에는 탭으로 구분 된 데이터 (예 : name, ip, url)가 있습니다.
Hive에서 테이블을 만들고 hdfs에서 데이터를 가져오고 싶습니다. 테이블에는 시간, 이름, ip 및 url이 포함되어야합니다.
Hive를 사용하여 어떻게 가져올 수 있습니까? r 데이터를 다른 형식으로 가져 와서 시간을 가져올 수 있습니까?
해결법
-
==============================
1.이렇게하려면 파티션을 사용해야합니다. 여기에서 파티션에 대한 자세한 내용을 읽으십시오.
이렇게하려면 파티션을 사용해야합니다. 여기에서 파티션에 대한 자세한 내용을 읽으십시오.
-
==============================
2.파일을로드 할 테이블을 작성한 다음 LOAD DATA 명령을 사용하여 파일을 Hive 테이블에로드해야합니다. 사용할 정확한 구문은 Hive 설명서를 참조하십시오.
파일을로드 할 테이블을 작성한 다음 LOAD DATA 명령을 사용하여 파일을 Hive 테이블에로드해야합니다. 사용할 정확한 구문은 Hive 설명서를 참조하십시오.
문안 인사, 제프
-
==============================
3.이러한 데이터에 대한 외부 테이블을 생성 할 수 있습니다.
이러한 데이터에 대한 외부 테이블을 생성 할 수 있습니다.
같은 것 :
from https://stackoverflow.com/questions/5760960/importing-data-from-hdfs-to-hive-table by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] java Mapreduce를 사용하여 JSON 처리하기 (0) | 2019.08.06 |
---|---|
[HADOOP] 하이브에서 sysdate -1 가져 오기 (0) | 2019.08.06 |
[HADOOP] 1 시간이 걸리는 hbase에 1GB 데이터로드 (0) | 2019.08.06 |
[HADOOP] Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다. (0) | 2019.08.06 |
[HADOOP] oozie 작업에서 다중 libpath를 어떻게 지정합니까? (0) | 2019.08.06 |