[HADOOP] HDFS 대신 로컬 디스크의 데이터에서 Hive에 외부 테이블을 만드는 방법은 무엇입니까?
HADOOPHDFS 대신 로컬 디스크의 데이터에서 Hive에 외부 테이블을 만드는 방법은 무엇입니까?
HDFS의 데이터에 대해서는
CREATE EXTERNAL TABLE <table>
{
id INT,
name STRING,
age INT
} LOCATION 'hdfs_path';
그러나 위의 위치에 대한 로컬 경로를 지정하는 방법은 무엇입니까?
감사.
해결법
-
==============================
1.먼저 "hdfs dfs -put"을 사용하여 파일을 HDFS에 업로드 한 다음 그 위에 Hive 외부 테이블을 만들 수 있습니다.
먼저 "hdfs dfs -put"을 사용하여 파일을 HDFS에 업로드 한 다음 그 위에 Hive 외부 테이블을 만들 수 있습니다.
Hive가 로컬 파일에서 외부 테이블을 작성할 수없는 이유는 Hive가 데이터를 처리 할 때 로컬 파일에 전혀 액세스 할 수없는 Hadoop 클러스터에서 실제 처리가 발생하기 때문입니다.
-
==============================
2.로컬 파일 시스템에서 외부 테이블을 만들 수 있다고 생각하지 않습니다. 가장 가까운 것은 LOCATION 's3 : // yourbucket /'을 사용하여 AWS S3 버킷에서 외부 테이블을 생성하는 것입니다.
로컬 파일 시스템에서 외부 테이블을 만들 수 있다고 생각하지 않습니다. 가장 가까운 것은 LOCATION 's3 : // yourbucket /'을 사용하여 AWS S3 버킷에서 외부 테이블을 생성하는 것입니다.
from https://stackoverflow.com/questions/31844444/how-to-create-external-table-on-hive-from-data-on-local-disk-instead-of-hdfs by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 파일 수 Vs HDFS의 블록 수 (0) | 2019.09.08 |
---|---|
[HADOOP] 리전 서버의 HBase 리젼로드 밸런스 (0) | 2019.09.08 |
[HADOOP] fs.defaultFS는 로컬 호스트의 포트 8020 만 수신합니다 (0) | 2019.09.07 |
[HADOOP] MRJob이 내 키를 정렬하는 이유는 무엇입니까? (0) | 2019.09.07 |
[HADOOP] 그룹화 쿼리에서 조인 작업 제거 (0) | 2019.09.07 |