[HADOOP] Spark to Oozie 공유 라이브러리 추가

Spark to Oozie 공유 라이브러리 추가

기본적으로 Oozie 공유 lib 디렉토리는 Hive, Pig 및 Map-Reduce 용 라이브러리를 제공합니다. Oozie에서 Spark 작업을 실행하려면 Spark lib jar을 app의 lib 디렉토리에 복사하는 대신 Oozie의 공유 lib에 추가하는 것이 좋습니다. Spark 라이브러리 jar (스파크 코어 및 해당 종속성 포함)를 Oozie의 공유 라이브러리에 추가하려면 어떻게해야합니까? 모든 의견 / 답변을 부탁드립니다.

해결법

1. ==============================

   1.문서가 약간 뒤처진 것처럼 보이지만 Spark 작업은 Oozie 4.2.0에서 릴리스 될 예정입니다. 관련 JIRA를 참조하십시오 : Oozie JIRA-스파크 액션 실행기 추가

   문서가 약간 뒤처진 것처럼 보이지만 Spark 작업은 Oozie 4.2.0에서 릴리스 될 예정입니다. 관련 JIRA를 참조하십시오 : Oozie JIRA-스파크 액션 실행기 추가

   Cloudera의 릴리스 CDH 5.4는 이미 공식 문서를 참조하십시오. CDH 5.4 oozie doc-Oozie Spark 조치 확장

   구 버전의 Oozie에서는 병을 다양한 접근 방식과 공유 할 수 있습니다. 첫 번째 접근 방식이 가장 효과적 일 수 있습니다. 어쨌든 전체 목록 :

   Rober Kanter의 블로그에서 인용 : 방법 : Apache Oozie에서 ShareLib 사용 (CDH 5)

from https://stackoverflow.com/questions/30565546/add-spark-to-oozie-shared-lib by cc-by-sa and MIT license