[HADOOP] oozie 작업에서 다중 libpath를 어떻게 지정합니까?
HADOOPoozie 작업에서 다중 libpath를 어떻게 지정합니까?
내 oozie 작업은 2 개의 항아리 x.jar 및 y.jar을 사용하며 다음은 내 job.properties 파일입니다.
oozie.libpath=/lib
oozie.use.system.libpath=true
/jar/x.jar 및 /lib/y.jar의 두 jar이 HDFS의 동일한 위치에있을 때 완벽하게 작동합니다.
이제 다른 위치 /lib/1/x.jar 및 /lib/2/y.jar에 2 개의 항아리가 있습니다. 맵 축소 작업을 실행하는 동안 두 항아리가 모두 사용되도록 코드를 다시 작성하려면 어떻게해야합니까? 참고 : 이미 oozie에 여러 jar 파일을 지정하는 방법에 대한 답변을 참조했지만 문제가 해결되지 않습니다.
해결법
-
==============================
1.답변을 찾았습니다. http://blog.cloudera.com/blog/2014/05/how-to-use-the-sharelib-in-apache-oozie-cdh-5/ 쉼표로 구분하여 여러 경로를 지정할 수 있음이 밝혀졌습니다.
답변을 찾았습니다. http://blog.cloudera.com/blog/2014/05/how-to-use-the-sharelib-in-apache-oozie-cdh-5/ 쉼표로 구분하여 여러 경로를 지정할 수 있음이 밝혀졌습니다.
from https://stackoverflow.com/questions/33715104/how-do-i-specify-multiple-libpath-in-oozie-job by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 1 시간이 걸리는 hbase에 1GB 데이터로드 (0) | 2019.08.06 |
---|---|
[HADOOP] Apache Giraph - 한 번에 하나의 작업 만 있기 때문에 분할 마스터 / 작업자 모드에서 실행할 수 없습니다. (0) | 2019.08.06 |
[HADOOP] textinputformat.record.delimiter를 하이브 cli / beeline 내에서 기본값으로 재설정하는 방법은 무엇입니까? (0) | 2019.08.06 |
[HADOOP] hadoop을 사용하는 동안 로거 API를 사용하여 자바 로그 파일을 작성하는 방법 (0) | 2019.08.06 |
[HADOOP] Hive ParseException- 'end' 'string'근처의 입력을 인식 할 수 없습니다 (0) | 2019.08.06 |