[HADOOP] 구축을위한 외부 의존성 통과 수계 미스트를 스파크를 제출

구축을위한 외부 의존성 통과 수계 미스트를 스파크를 제출

나는 현재 수권 미스트와 함께 불꽃을 사용하고 있습니다.

내 프로젝트는 외부 라이브러리 (jar 파일)와 다른 패키지 등에 따라 달라집니다

 1. somejarfile.jar
 2. org.apache.hadoop:hadoop-aws:2.7.4,
 3. org.apache.hadoop:hadoop-client:2.7.4

내가 실행 옵션을 사용하여 컨텍스트를 구성 할 수있는 안개에 외부 의존성을 전달합니다.

외부 항아리로 구성 할 수 있습니다.

mycontext.run-options="--jars somejarfile.jar"

외부 패키지를 구성 할 수 있습니다.

mycontext.run-options="--packages org.apache.hadoop:hadoop-aws:2.7.4,org.apache.hadoop:hadoop-client:2.7.4"

그것은 다음과 같은 일을 항아리와 패키지를 모두 실행 옵션을 구성 할 수 있습니까?

`mycontext.run-options="--jars somejarfile.jar, --packages org.apache.hadoop:hadoop-aws:2.7.4,org.apache.hadoop:hadoopclient:2.7.4"`.

여기 붙어있어. 위의 문제와 함께가는 어떤 도움을 매우 높이 평가합니다.

해결법

from https://stackoverflow.com/questions/53493750/pass-external-dependency-for-building-spark-submit-hydrosphere-mist by cc-by-sa and MIT license