[HADOOP] 스파크 하이브 : 누락 된 <spark-assembly * .jar>

스파크 하이브 : 누락 된

Hive 2.1.1, Spark 2.1.0 및 Hadoop 2.7.3을 실행 중입니다.

Spark의 Hive를 따라 Spark를 만들려고했습니다. 시작하기 :

그러나 spark 디렉토리 아래에 spark-assembly jar 파일을 찾을 수 없습니다 (find. -name "spark-assembly * .jar"는 아무것도 반환하지 않습니다). spark-assembly jar를 HIVE_HOME / lib에 연결하는 대신 SPARK_HOME = / home / user / spark를 내보냈습니다.

Beeline에서 다음 하이브 오류가 발생합니다.

0: jdbc:hive2://localhost:10000> set hive.execution.engine=spark;
0: jdbc:hive2://localhost:10000> insert into test (id, name) values (1, 'test1');
Error: Error running query: java.lang.NoClassDefFoundError: scala/collection/Iterable (state=,code=0)

나는이 오류가 스파크 - 어셈블리 병이없는 것에 기인한다고 생각한다.

어떻게 구축 할 수 있습니까 / 그 스파크 어셈블리 jar 파일을 어디에서 찾을 수 있습니까?

위의 오류를 어떻게 해결할 수 있습니까?

고맙습니다!

해결법

1. ==============================

   1.먼저 Spark는 2.0.0에서 spark-assembly.jar를 빌드하지는 않지만 모든 종속성 병을 디렉토리 $ SPARK_HOME / jars에 빌드합니다.

   먼저 Spark는 2.0.0에서 spark-assembly.jar를 빌드하지는 않지만 모든 종속성 병을 디렉토리 $ SPARK_HOME / jars에 빌드합니다.

   게다가, Hive는 Spark의 모든 버전을 지원하지는 않습니다. 실제로 Hive on Spark를 실행하기위한 강력한 버전 호환성 제한이 있습니다. 사용중인 하이브 버전에 따라 하이브의 pom.xml 파일에서 해당 스파크 버전을 찾을 수 있습니다. Hive 2.1.1에서 pom.xml에 지정된 스파크 버전은 다음과 같습니다.

   이미 하이브 (hive) 지원없이 스파크를 제작해야한다는 것을 알고 있습니다. 이유는 모르겠지만 Spark의 Hive 명령 - Getting Started가 나를 위해 작동하지 않습니다. 마침내 나는 다음 명령을 사용하여 성공했습니다.

   mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package
   

   그리고 전에 만난 몇 가지 다른 문제 해결 팁 (기대하지 않았 으면합니다.) :

   희망이 도움이 될 수있는 모든 것이 잘 간다.

2. ==============================

   2.예, 그들은 spark-2.0.0 이후부터 spark-assembly.jar 파일을 빌드하지 않습니다. 독립적 인 작은 jar 파일은 jars 디렉토리에서 사용할 수 있습니다.

   예, 그들은 spark-2.0.0 이후부터 spark-assembly.jar 파일을 빌드하지 않습니다. 독립적 인 작은 jar 파일은 jars 디렉토리에서 사용할 수 있습니다.

   https://issues.apache.org/jira/browse/SPARK-11157

   https://issues.apache.org/jira/secure/attachment/12767129/no-assemblies.pdf

3. ==============================

   3.스파크 관련 항아리를 찾지 못할거야.

   스파크 관련 항아리를 찾지 못할거야.

   그러나, 나는 Mac에서 brew install을 통해 Hive 2.1.0을 사용하고 있습니다. 여전히 문제가 있습니다.

   좀 봐.

   Hive on Spark : 시작하기

from https://stackoverflow.com/questions/42373745/hive-on-spark-missing-spark-assembly-jar by cc-by-sa and MIT license