[HADOOP] 잘못된 FS 오류에 Sqoop을 + S3 + 마루 결과

잘못된 FS 오류에 Sqoop을 + S3 + 마루 결과

다음과 같이 Sqoop을을 사용하여 마루 형식으로 S3에 데이터를 가져올하려고 할 때 :

bin/sqoop import --connect 'jdbc:[conn_string]' --table [table] --target-dir s3a://bucket-name/ --hive-drop-import-delims --as-parquetfile

... 나는 다음과 같은 오류가 발생합니다 :

ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000

나는 아무 문제가 아닌 마루 데이터를 가져 오거나 HDFS를 통해 직접 S3A 작업이 없습니다. 이 문제처럼 보인다, 그러나 그것은 아마도 많은 버전 전에 수정되었습니다.

해결법

1. ==============================

   1.마루 형식으로 Sqoop을 가져 오기가 현재 대상 디렉토리로 S3를 지원하지 않는, 사용할 수 있습니다 주위 작품은 HDFS에 데이터를 가져온 다음 S3하는 HDFS에서 복사 할 distcp 사용하는 것입니다

   마루 형식으로 Sqoop을 가져 오기가 현재 대상 디렉토리로 S3를 지원하지 않는, 사용할 수 있습니다 주위 작품은 HDFS에 데이터를 가져온 다음 S3하는 HDFS에서 복사 할 distcp 사용하는 것입니다

2. ==============================

   2.당신이 대상 디렉토리로 S3를 사용하는 경우 Sqoop을 마루 파일 가져 오기를 지원하지 않습니다.

   당신이 대상 디렉토리로 S3를 사용하는 경우 Sqoop을 마루 파일 가져 오기를 지원하지 않습니다.

from https://stackoverflow.com/questions/33223110/sqoop-s3-parquet-results-in-wrong-fs-error by cc-by-sa and MIT license