[HADOOP] 실행 하둡 내 자신의 빌드 스파크 제출

실행 하둡 내 자신의 빌드 스파크 제출

나는 하둡 2.8의 스냅 샷과 스파크 2.02을 실행하는 데 노력하고있어. 나는 불꽃 2.0.2 - 빈 -없는 - 하둡 웹 사이트에서 사용하고 있습니다. 나는이 방향을 사용하여 하둡 2.8을 내장. 스파크 웹 사이트 당, 실행하기 전에 내가 전화 불꽃을 제출 :

수출 SPARK_DIST_CLASSPATH = $ (/ 경로 / / hadoop2.8 / 빈 / 하둡 클래스 경로)

나는 다음과 같이 스파크가 제출 전화

spark-submit --verbose --master mesos://$MASTER_HOST/mesos

그러나 나는 다음과 같은 오류가 발생합니다 :

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
    at org.apache.spark.deploy.SparkSubmitArguments.handle(SparkSubmitArguments.scala:403)
    at org.apache.spark.launcher.SparkSubmitOptionParser.parse(SparkSubmitOptionParser.java:163)
    at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:98)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:117)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 5 more

내가 하둡의 위치를 ​​지정할 수있는 불꽃 제출하는 몇 가지 인수가 있습니까?

해결법

1. ==============================

   1.당신의 하둡 바이너리의 위치에 HADOOP_HOME을 설정하십시오.

   당신의 하둡 바이너리의 위치에 HADOOP_HOME을 설정하십시오.

   export HADOOP_HOME="/path/to/hadoop"
   

from https://stackoverflow.com/questions/40666508/run-spark-submit-with-my-own-build-of-hadoop by cc-by-sa and MIT license