[HADOOP] 원사 클러스터에서 스파크 작업 실행 문제

원사 클러스터에서 스파크 작업 실행 문제

Hadoop YARN 클러스터 모드에서 스파크 작업을 실행하고 다음 명령을 사용하고 있습니다.

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

내가 아래에 오류가있어, 친절하게 뭐가 잘못되고, 명령이 맞는지 아닌지 제안. 나는 CDH 5.3.1을 사용하고있다.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.apache.hadoop.ipc.Client@4085f1ac
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

어떤 도움이라도 대단히 감사하겠습니다.

해결법

1. ==============================

   1.많은 것들을 의미 할 수 있습니다. 우리는 지원되지 않는 Java 클래스 버전 때문에 유사한 오류 메시지가 나타나고 프로젝트에서 참조 된 Java 클래스를 삭제하여 문제를 해결했습니다.

   많은 것들을 의미 할 수 있습니다. 우리는 지원되지 않는 Java 클래스 버전 때문에 유사한 오류 메시지가 나타나고 프로젝트에서 참조 된 Java 클래스를 삭제하여 문제를 해결했습니다.

   이 오류 메시지를 보려면 다음 명령을 사용하십시오.

   yarn logs -applicationId application_1424284032717_0066
   

2. ==============================

   2.코드에서 ".setMaster ("local ")"을 제거해야합니다.

   코드에서 ".setMaster ("local ")"을 제거해야합니다.

3. ==============================

   3.명령이 올바르게 보입니다.

   명령이 올바르게 보입니다.

   내가 간 것은 "종료 코드 15"는 일반적으로 TableNotFound 예외를 나타냅니다. 이는 일반적으로 제출하는 코드에 오류가 있음을 의미합니다.

   추적 URL을 방문하여이를 확인할 수 있습니다.

4. ==============================

   4.나에게 spire / conf 디렉토리에 hive-site.xml을 두어 종료 코드 문제를 해결했다.

   나에게 spire / conf 디렉토리에 hive-site.xml을 두어 종료 코드 문제를 해결했다.

5. ==============================

   5.클러스터 아래에서 spark 작업을 실행하는 경우 spark 구성 파일에서 "spark.master": "local [*]"줄을 제거하십시오.

   클러스터 아래에서 spark 작업을 실행하는 경우 spark 구성 파일에서 "spark.master": "local [*]"줄을 제거하십시오.

   로컬 PC에서 실행한다고 가정하십시오.

   마니

from https://stackoverflow.com/questions/28689829/issue-running-spark-job-on-yarn-cluster by cc-by-sa and MIT license