[HADOOP] PIG를 사용하여 외부 jar 파일을 포함하는 방법
HADOOPPIG를 사용하여 외부 jar 파일을 포함하는 방법
hadoop 명령을 사용하여 mapreduce 작업을 실행할 때 -libjars를 사용하여 캐시 및 클래스 경로에 내 jar를 설정합니다. 돼지에서 이런 식으로하는 법?
해결법
-
==============================
1.
register /local/path/to/myJar.jar
-
==============================
2.Pig 환경에 외부 항아리를 추가하는 두 가지 방법이 있습니다.
Pig 환경에 외부 항아리를 추가하는 두 가지 방법이 있습니다.
당신은 귀하의 요구 사항에 따라 하나를 사용할 수 있습니다.
-
==============================
3.zsxwing의 대답에 대한 확장. 여러 jar 경로를 다음과 같이 지정할 수도 있습니다.
zsxwing의 대답에 대한 확장. 여러 jar 경로를 다음과 같이 지정할 수도 있습니다.
pig -Dpig.additional.jars="/local/path/1/*:/local/path/2/*"
from https://stackoverflow.com/questions/10423990/how-to-include-external-jar-file-using-pig by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하이브에서 날짜 형식을 변경하는 방법? (0) | 2019.06.09 |
---|---|
[HADOOP] HDFS_NAMENODE_USER, HDFS_DATANODE_USER 및 HDFS_SECONDARYNAMENODE_USER이 (가) 정의되지 않았습니다. (0) | 2019.06.09 |
[HADOOP] Hadoop은 Map 및 Reduce 작업을 수행 할 노드 수를 어떻게 결정합니까? (0) | 2019.06.09 |
[HADOOP] 원사에 예약 된 메모리 란 무엇입니까? (0) | 2019.06.09 |
[HADOOP] EMR 마스터 노드가 클러스터 ID를 알고 있습니까? (0) | 2019.06.09 |