복붙노트

[HADOOP] 어떻게로드 명령을 사용하여 돼지의 폴더에 여러 개의 텍스트 파일을로드하려면?

HADOOP

어떻게로드 명령을 사용하여 돼지의 폴더에 여러 개의 텍스트 파일을로드하려면?

나는 하나 개의 텍스트 파일을로드하기 위해 이것을 사용하고있다

A = LOAD '1try.txt' USING PigStorage(' ') as (c1:chararray,c2:chararray,c3:chararray,c4:chararray);

해결법

  1. ==============================

    1.이 같은 대신 파일 이름의 폴더 이름을 사용할 수 있습니다 :

    이 같은 대신 파일 이름의 폴더 이름을 사용할 수 있습니다 :

    A = LOAD 'myfolder' USING PigStorage(' ') 
        AS (c1:chararray,c2:chararray,c3:chararray,c4:chararray);
    

    프로그래밍 돼지에 명시된 바와 같이 돼지, 지정된 폴더의 모든 파일을로드합니다 :

  2. ==============================

    2.다음은 디렉토리의 모든 파일을로드 부하 문을 사용할 수 있음을 나타냅니다 공식 돼지 문서에 대한 링크는 다음과 같습니다 http://pig.apache.org/docs/r0.14.0/basic.html#load

    다음은 디렉토리의 모든 파일을로드 부하 문을 사용할 수 있음을 나타냅니다 공식 돼지 문서에 대한 링크는 다음과 같습니다 http://pig.apache.org/docs/r0.14.0/basic.html#load

  3. ==============================

    3.

    data = load '/FOLDER/PATH' using PigStorage(' ') AS (<name> <type>, ..);
    

    또는

    data = load '/FOLDER/PATH' using HBaseStorage();
    
  4. from https://stackoverflow.com/questions/23622288/how-to-load-multiple-text-files-in-a-folder-in-pig-using-load-command by cc-by-sa and MIT license