[HADOOP] 어떻게로드 명령을 사용하여 돼지의 폴더에 여러 개의 텍스트 파일을로드하려면?
HADOOP어떻게로드 명령을 사용하여 돼지의 폴더에 여러 개의 텍스트 파일을로드하려면?
나는 하나 개의 텍스트 파일을로드하기 위해 이것을 사용하고있다
A = LOAD '1try.txt' USING PigStorage(' ') as (c1:chararray,c2:chararray,c3:chararray,c4:chararray);
해결법
-
==============================
1.이 같은 대신 파일 이름의 폴더 이름을 사용할 수 있습니다 :
이 같은 대신 파일 이름의 폴더 이름을 사용할 수 있습니다 :
A = LOAD 'myfolder' USING PigStorage(' ') AS (c1:chararray,c2:chararray,c3:chararray,c4:chararray);
프로그래밍 돼지에 명시된 바와 같이 돼지, 지정된 폴더의 모든 파일을로드합니다 :
-
==============================
2.다음은 디렉토리의 모든 파일을로드 부하 문을 사용할 수 있음을 나타냅니다 공식 돼지 문서에 대한 링크는 다음과 같습니다 http://pig.apache.org/docs/r0.14.0/basic.html#load
다음은 디렉토리의 모든 파일을로드 부하 문을 사용할 수 있음을 나타냅니다 공식 돼지 문서에 대한 링크는 다음과 같습니다 http://pig.apache.org/docs/r0.14.0/basic.html#load
-
==============================
3.
data = load '/FOLDER/PATH' using PigStorage(' ') AS (<name> <type>, ..);
또는
data = load '/FOLDER/PATH' using HBaseStorage();
from https://stackoverflow.com/questions/23622288/how-to-load-multiple-text-files-in-a-folder-in-pig-using-load-command by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하이브에서 HBase를 테이블에 데이터를로드 할 수 없습니다 (0) | 2019.10.16 |
---|---|
[HADOOP] 업로드 / 다운로드를위한 하둡 나머지의 API (0) | 2019.10.16 |
[HADOOP] HBase를도 최대 버전을 반환에게 이전 값을 얻을 수 = 1 (0) | 2019.10.16 |
[HADOOP] 출력으로하여 MongoDB에서의 MapReduce를 사용 HDFS에서 처리 된 데이터를 저장하는 방법 (0) | 2019.10.16 |
[HADOOP] 하이브 예외 java.lang.RuntimeException가 : java.lang.ClassCastException가 : (0) | 2019.10.16 |