[HADOOP] 스파크 2.0 - 하이브를 쿼리 할 때 "테이블 또는 뷰를 찾을 수 없음"(스파크 캔트 하이브 테이블 참조) [닫힘]

스파크 2.0 - 하이브를 쿼리 할 때 "테이블 또는 뷰를 찾을 수 없음"(스파크 캔트 하이브 테이블 참조) [닫힘]

spark-shell 2.0을 통해 하이브를 쿼리 할 때 :

spark.sql("SELECT * FROM schemaname.tablename")

오류가 발생합니다.

16/08/13 09:24:17 INFO execution.SparkSqlParser: Parsing command: SELECT * FROM schemaname.tablename
org.apache.spark.sql.AnalysisException: Table or view not found: `schemaname`.`tablename`; line 1 pos 14
...

하이브 액세스는 hive-site.xml을 통해 올바르게 구성되어있는 것으로 보입니다. 쉘 스파크에서 인쇄 중입니다 :

scala> spark.conf.get("spark.sql.warehouse.dir")
res5: String = /user/hive/warehouse

conf / hive-site.xml 내부에서 Hive가 구성되고 Spark에서 해당 구성에 액세스 할 수 있습니다. 데이터베이스를 나열 할 때 기존 기본 데이터베이스를 표시합니다. 그러나 내부에있는 테이블은 표시되지 않습니다.

scala> spark.catalog.listDatabases.show(false)
+-------+----------------+---------------------------------------------+
|name   |description     |locationUri                                  |
+-------+----------------+---------------------------------------------+
|default|default database|hdfs://hdfs-server-uri:8020/user/hive/warehouse|
+-------+----------------+---------------------------------------------+

scala> spark.catalog.listTables("default").show()
+----+--------+-----------+---------+-----------+
|name|database|description|tableType|isTemporary|
+----+--------+-----------+---------+-----------+
+----+--------+-----------+---------+-----------+

내 하이브 테이블을 볼 수없는 이유는 무엇입니까?

해결법

from https://stackoverflow.com/questions/38931303/spark-2-0-table-or-view-not-found-when-querying-hive-spark-cant-see-hive-t by cc-by-sa and MIT license