[HADOOP] oozie와 예 스파크 작업을 실행할 수 없습니다

oozie와 예 스파크 작업을 실행할 수 없습니다

나는 CDH 5.7 클러스터에 설치 oozie에 노력하고있어. I 설치 및 클라우 데라 문서의 단계를 수행하여 모든 구성되었습니다. 마지막으로 나는, oozie-examples.tar.gz을 추출 HDFS에 거려 몇 가지 예제를 실행하기 위해 노력했다. MR의 예는 잘 실행하지만, 불꽃 하나가 다음 오류와 함께 실패합니다 :

내가 예제를 실행하는 데 사용되는 명령했다 :

oozie job -config /usr/share/doc/oozie/examples/apps/spark/job.properties -run

job.properties의 내용 :

nameNode=hdfs://cluster:8020
jobTracker=aleo-master-0:8021
master=yarn-cluster
queueName=default
examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/spark

그리고 workflow.xml :

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'>
<start to='spark-node' />

<action name='spark-node'>
    <spark xmlns="uri:oozie:spark-action:0.1">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <prepare>
            <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark"/>
        </prepare>
        <master>${master}</master>
        <name>Spark-FileCopy</name>
        <class>org.apache.oozie.example.SparkFileCopy</class>
        <jar>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/oozie-examples.jar</jar>
        <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/input-data/text/data.txt</arg>
        <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark</arg>
    </spark>
    <ok to="end" />
    <error to="fail" />
</action>

<kill name="fail">
    <message>Workflow failed, error
        message[${wf:errorMessage(wf:lastErrorNode())}]
    </message>
</kill>
<end name='end' />

버전 정보 :

사람이 전에이 문제를 본 적이 있습니까? 나는 또한 내 자신의 워크 플로우 정의와 SparkPi를 실행하려고했으나 결과는 동일했다.

도와 주셔서 감사합니다!

해결법

1. ==============================

   1.당신은 길을 준비 불꽃을 정리하려고 했습니까? 스파크는 준비 HDFS 경로에 주어진 항아리의 임시 사본을 복사하고, 거기에 같은 이름을 가진 두 개의 다른 단지를 구별하지 못할 수 있습니다.

   당신은 길을 준비 불꽃을 정리하려고 했습니까? 스파크는 준비 HDFS 경로에 주어진 항아리의 임시 사본을 복사하고, 거기에 같은 이름을 가진 두 개의 다른 단지를 구별하지 못할 수 있습니다.

from https://stackoverflow.com/questions/36984908/unable-to-run-example-spark-job-with-oozie by cc-by-sa and MIT license