[HADOOP] 임베디드 하둡 돼지 : UDF에 대한 자동 addContainingJar를 사용하는 올바른 방법은 무엇입니까?
HADOOP임베디드 하둡 돼지 : UDF에 대한 자동 addContainingJar를 사용하는 올바른 방법은 무엇입니까?
당신이 pigServer.registerFunction를 사용할 때, 당신은 자동으로 jarManager.findContainingJar를 사용하여 항아리를 감지 명시 적으로 pigServer.registerJar 전화, 오히려 돼지가 안돼요.
그러나, 우리의 클래스가 여러 단지에서 다른 클래스에 의존하는 복잡한 UDF 있습니다. 그래서 우리는 항아리 - 의존성과 받는다는 - 어셈블리를 만들었습니다. 그러나 이것은와 하둡 서버로 전송되지 않는 (는 pig.jar 자체를 포함로) 전체 항아리 pigContext.skipJars를 입력됩니다 :(
여기에 올바른 방법은 무엇입니까? 우리는 수동으로 우리가 의존하는 모든 단지에 대한 registerJar를 호출해야합니까?
해결법
-
==============================
1.확실하지 무슨 인증 방법,하지만 여기에 몇 가지 포인터입니다 :
확실하지 무슨 인증 방법,하지만 여기에 몇 가지 포인터입니다 :
HTH
from https://stackoverflow.com/questions/8636222/embedded-hadoop-pig-whats-the-correct-way-to-use-the-automatic-addcontainingja by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 다른 항목에 대한 하나 개의 조합에 의해 그룹과 다시 한 번 그룹을 (0) | 2019.10.10 |
---|---|
[HADOOP] MapReduce의 재귀 계산을 사용하여 (0) | 2019.10.10 |
[HADOOP] 하이브 날짜 현명한 사진을 얻기 위해 가입 (0) | 2019.10.10 |
[HADOOP] 돼지에 문자를 교체 (0) | 2019.10.10 |
[HADOOP] 오류가 발생하면서 실행 하둡 맵리 듀스 - 예를-2.2.0.jar (0) | 2019.10.10 |