복붙노트

[HADOOP] oozie에서 여러 jar 파일을 지정하는 방법

HADOOP

oozie에서 여러 jar 파일을 지정하는 방법

다음 문제에 대한 해결책이 필요합니다. 내 프로젝트에는 두 개의 항아리가 있습니다.

하나의 jar에는 Employee 등의 모든 빈 클래스가 포함되어 있고 다른 jar에는 첫 번째 jar Bean 클래스를 사용하는 MR 작업이 포함되어 있으므로 iam 작업을 간단한 Java 프로그램으로 실행하려고하면 클래스를 찾을 수 없습니다 (com. abc.Employee 클래스는 다른 항아리에서 찾을 수 없으므로) 문제를 해결하는 방법을 솔루션으로 제공 할 수 있습니까 .... 실시간으로 1 또는 2가 아닌 많은 항아리가있을 수 있으므로 모든 항아리를 지정하는 방법 누구든지 가능한 빨리 회신하십시오.

해결법

  1. ==============================

    1.Oozie 워크 플로우를 저장하는 HDFS 디렉토리에 lib 폴더가 있어야합니다. 두 jar 파일을이 폴더에 둘 수 있으며 oozie는 MR 작업이 실행될 때 둘 다 클래스 경로에 있는지 확인합니다.

    Oozie 워크 플로우를 저장하는 HDFS 디렉토리에 lib 폴더가 있어야합니다. 두 jar 파일을이 폴더에 둘 수 있으며 oozie는 MR 작업이 실행될 때 둘 다 클래스 경로에 있는지 확인합니다.

    hdfs://namenode:8020/path/to/oozie/app/workflow.xml
    hdfs://namenode:8020/path/to/oozie/app/lib/first.jar
    hdfs://namenode:8020/path/to/oozie/app/lib/second.jar
    

    자세한 내용은 워크 플로 응용 프로그램 배포를 참조하십시오.

    여러 oozie 워크 플로에서 jar을 자주 사용하는 경우 이러한 일반적인 jar (예 : HBase jar)를 HDFS의 디렉토리에 배치 한 다음 oozie 속성에 표시하여이 폴더의 jar을 포함시킬 수 있습니다. 자세한 내용은 HDFS 공유 라이브러리를 참조하십시오.

  2. from https://stackoverflow.com/questions/12720610/how-to-specify-multiple-jar-files-in-oozie by cc-by-sa and MIT license