[HADOOP] Mongo-Hadoop 커넥터로 Apache Spark 설정 문제

Mongo-Hadoop 커넥터로 Apache Spark 설정 문제

나는 Apache Spark와 Hadoop에 익숙하지 않다. 임씨는 mongo-hadoop 커넥터를 작동시키는 데 문제가 있습니다.

나는 jdk-7, Apache Maven, Scala 및 Apache Spark를 설치하는 것 외에는 다른 작업을 수행하지 않았습니다.

이것은 내 .bashrc에있는 것입니다.

JAVA_HOME='/usr/java/jdk1.7.0_75'
export PATH=$PATH:/usr/local/apache-maven/apache-maven-3.2.5/bin/
MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
export PATH=$PATH:/usr/local/spark/sbin/
export SCALA_HOME='/usr/share/java/scala'

이 명령을 사용하여 Apache Spark을 설치했습니다. Spark 쉘이 작동했습니다. SparkContext를 사용하여 기본 예제를 실행할 수있었습니다.

mvn -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver -Dhadoop.version=2.4.0 -DskipTests clean package

그리고 Mongo-Hadoop 커넥터 (홈 디렉토리에)를 설치하는 명령도이 https://github.com/crcsmnky/mongodb-spark-demo를 거의 따랐습니다.

mvn install:install-file     -Dfile=core/build/libs/mongo-hadoop-core-1.3.3-SNAPSHOT.jar     -DgroupId=com.mongodb     -DartifactId=hadoop     -Dversion=1.2.1-SNAPSHOT     -Dpackaging=jar

이제 내가 스파크 셸을 시작하려고 할 때마다이 오류가 발생합니다.

Successfully started service 'HTTP file server' on port 36427.
java.lang.NoClassDefFoundError: javax/servlet/FilterRegistration

sparkContext 인스턴스는 없습니다. 이 문제를 해결할 수있는 방법을 알고 싶습니다. 그리고이 예제와 같은 코드를 실행할 수 있는지 알고 싶습니다. https://github.com/plaa/mongo-spark/blob/master/src/main/scala/ScalaWordCount.scala 불꽃 껍질에서 또는 내가 graddle와 일부 그것을 어떻게 불꽃을 불러 일으켜야합니까?

해결법

from https://stackoverflow.com/questions/28485851/issues-setting-up-apache-spark-with-mongo-hadoop-connector by cc-by-sa and MIT license