복붙노트

[HADOOP] 어떻게 아파치 돼지를 사용하여 hadoop 클러스터에 파일을로드 할 수 있습니까?

HADOOP

어떻게 아파치 돼지를 사용하여 hadoop 클러스터에 파일을로드 할 수 있습니까?

나는 돼지 스크립트를 가지고 있으며 로컬 hadoop 클러스터에서 파일을로드해야합니다. hadoop 명령을 사용하여 파일을 나열 할 수 있습니다 : hadoop fs -ls / repo / mydata,`` 하지만 돼지 스크립트에서 파일을로드하려고 시도했지만 실패했습니다. load 문은 다음과 같습니다.

in = LOAD '/repo/mydata/2012/02' USING PigStorage() AS (event:chararray, user:chararray)

오류 메시지는 다음과 같습니다.

Message: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: file:/repo/mydata/2012/02

어떤 생각? 감사

해결법

  1. ==============================

    1.나의 제안:

    나의 제안:

    (또는 꿀꺽 꿀꺽 꿀꺽 꿀꺽하면서> copyFromLocal /opt/pig/tutorial/data/excite-small.log / pigdata에서 할 수 있습니다)

  2. ==============================

    2.나는 같은 문제에 직면했다 .. 제 제안을 아래에서 찾으십시오 :

    나는 같은 문제에 직면했다 .. 제 제안을 아래에서 찾으십시오 :

  3. ==============================

    3."="의 양쪽에있는 공간을 제거하십시오. (이벤트 : chararray, 사용자 : chararray)에서 PigStorage () = USING PING = LOAD '/ repo / mydata / 2012 / 02'

    "="의 양쪽에있는 공간을 제거하십시오. (이벤트 : chararray, 사용자 : chararray)에서 PigStorage () = USING PING = LOAD '/ repo / mydata / 2012 / 02'

  4. from https://stackoverflow.com/questions/9491888/how-to-load-files-on-hadoop-cluster-using-apache-pig by cc-by-sa and MIT license