[HADOOP] 어떻게 아파치 돼지를 사용하여 hadoop 클러스터에 파일을로드 할 수 있습니까?
HADOOP어떻게 아파치 돼지를 사용하여 hadoop 클러스터에 파일을로드 할 수 있습니까?
나는 돼지 스크립트를 가지고 있으며 로컬 hadoop 클러스터에서 파일을로드해야합니다. hadoop 명령을 사용하여 파일을 나열 할 수 있습니다 : hadoop fs -ls / repo / mydata,`` 하지만 돼지 스크립트에서 파일을로드하려고 시도했지만 실패했습니다. load 문은 다음과 같습니다.
in = LOAD '/repo/mydata/2012/02' USING PigStorage() AS (event:chararray, user:chararray)
오류 메시지는 다음과 같습니다.
Message: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: file:/repo/mydata/2012/02
어떤 생각? 감사
해결법
-
==============================
1.나의 제안:
나의 제안:
(또는 꿀꺽 꿀꺽 꿀꺽 꿀꺽하면서> copyFromLocal /opt/pig/tutorial/data/excite-small.log / pigdata에서 할 수 있습니다)
-
==============================
2.나는 같은 문제에 직면했다 .. 제 제안을 아래에서 찾으십시오 :
나는 같은 문제에 직면했다 .. 제 제안을 아래에서 찾으십시오 :
-
==============================
3."="의 양쪽에있는 공간을 제거하십시오. (이벤트 : chararray, 사용자 : chararray)에서 PigStorage () = USING PING = LOAD '/ repo / mydata / 2012 / 02'
"="의 양쪽에있는 공간을 제거하십시오. (이벤트 : chararray, 사용자 : chararray)에서 PigStorage () = USING PING = LOAD '/ repo / mydata / 2012 / 02'
from https://stackoverflow.com/questions/9491888/how-to-load-files-on-hadoop-cluster-using-apache-pig by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하이브 테이블에서 JSON-SerDe 사용하기 (0) | 2019.07.23 |
---|---|
[HADOOP] 하둡 가상 클러스터 vs 단일 시스템 (0) | 2019.07.23 |
[HADOOP] apache hadoop 예제의 소스 코드는 어디에 있습니까? (0) | 2019.07.23 |
[HADOOP] Hadoop Mapper Context 객체 (0) | 2019.07.23 |
[HADOOP] 하이브가 CTAS로 외부 테이블을 만들 수없는 이유는 무엇입니까? (0) | 2019.07.23 |