복붙노트

[HADOOP] HDFS 대신 로컬 디스크의 데이터에서 Hive에 외부 테이블을 만드는 방법은 무엇입니까?

HADOOP

HDFS 대신 로컬 디스크의 데이터에서 Hive에 외부 테이블을 만드는 방법은 무엇입니까?

HDFS의 데이터에 대해서는

CREATE EXTERNAL TABLE <table>
{
id INT,
name STRING,
age INT 
} LOCATION 'hdfs_path';

그러나 위의 위치에 대한 로컬 경로를 지정하는 방법은 무엇입니까?

감사.

해결법

  1. ==============================

    1.먼저 "hdfs dfs -put"을 사용하여 파일을 HDFS에 업로드 한 다음 그 위에 Hive 외부 테이블을 만들 수 있습니다.

    먼저 "hdfs dfs -put"을 사용하여 파일을 HDFS에 업로드 한 다음 그 위에 Hive 외부 테이블을 만들 수 있습니다.

    Hive가 로컬 파일에서 외부 테이블을 작성할 수없는 이유는 Hive가 데이터를 처리 할 때 로컬 파일에 전혀 액세스 할 수없는 Hadoop 클러스터에서 실제 처리가 발생하기 때문입니다.

  2. ==============================

    2.로컬 파일 시스템에서 외부 테이블을 만들 수 있다고 생각하지 않습니다. 가장 가까운 것은 LOCATION 's3 : // yourbucket /'을 사용하여 AWS S3 버킷에서 외부 테이블을 생성하는 것입니다.

    로컬 파일 시스템에서 외부 테이블을 만들 수 있다고 생각하지 않습니다. 가장 가까운 것은 LOCATION 's3 : // yourbucket /'을 사용하여 AWS S3 버킷에서 외부 테이블을 생성하는 것입니다.

  3. from https://stackoverflow.com/questions/31844444/how-to-create-external-table-on-hive-from-data-on-local-disk-instead-of-hdfs by cc-by-sa and MIT license