[HADOOP] $ SPARK_HOME에 포함 된 hive-site.xml은 어떻게 생겼습니까?

$ SPARK_HOME에 포함 된 hive-site.xml은 어떻게 생겼습니까?

나는 하이브에서 초보자이며, 일을 시작하고 하이브에서 데이터를 읽을 때 뭔가가 발생했습니다 (테이블을 찾을 수 없음). $ SPARK_HOME / conf에 hive-site.xml을 설정하지 않았습니까?

spark job 명령을 제출하십시오.

bin/spark-submit --master local[*] --driver-memory 8g --executor-memory 8g  --class com.ctrip.ml.client.Client /root/GitLab/di-ml-tool/target/di-ml-tool-1.0-SNAPSHOT.jar

해결법

1. ==============================

   1.하이브 배포판에는 자신의 사이트 파일로 변환해야하는 템플릿 파일이 있습니다.

   하이브 배포판에는 자신의 사이트 파일로 변환해야하는 템플릿 파일이 있습니다.

   https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-hive-site.xmlandhive-default.xml.template

   따라서 먼저 hive-default.xml.template을 복사하여 자신의 hive-site.xml 파일을 만들어야합니다. 그러면 spark에서 사용할 수 있습니다.

   기본 파일을 사용하지 않으려면 이전 답변에 표시된 이전 구성을 사용할 수 있습니다.

2. ==============================

   2.hive-site.xml은 다음과 같습니다.

   hive-site.xml은 다음과 같습니다.

   <configuration>
       <property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>jdbc:mysql://localhost/metastore_db?createDatabaseIfNotExist=true</value>
           <description>metadata is stored in a MySQL server</description>
       </property>
       <property>
           <name>javax.jdo.option.ConnectionDriverName</name>
           <value>com.mysql.jdbc.Driver</value>
           <description>MySQL JDBC driver class</description>
       </property>
       <property>
           <name>javax.jdo.option.ConnectionUserName</name>
           <value>USER</value>
           <description>user name for connecting to mysql server </description>
       </property>
       <property>
           <name>javax.jdo.option.ConnectionPassword</name>
           <value>PASSWORD</value>
           <description>password for connecting to mysql server </description>
       </property>
   </configuration>
   

3. ==============================

   3.hive-site.xml을 conf 디렉토리에 복사하면됩니다.

   hive-site.xml을 conf 디렉토리에 복사하면됩니다.

4. ==============================

   4.나는 그것이 당신이 사용하는 배포본에 의존 할 것이라고 믿습니다. 최근에이 문제가 발생하여 문제가 해결되었습니다. Spark conf 폴더에있는 hive-site.xml의 사본에 다음 내용 만 포함되도록 HDP 2.3.2를 사용하고 있습니다.

   나는 그것이 당신이 사용하는 배포본에 의존 할 것이라고 믿습니다. 최근에이 문제가 발생하여 문제가 해결되었습니다. Spark conf 폴더에있는 hive-site.xml의 사본에 다음 내용 만 포함되도록 HDP 2.3.2를 사용하고 있습니다.

   <configuration>
   
     <property>
     <name>hive.metastore.uris</name>
     <value>thrift://host.xxx.com:9083</value>
     </property>
   
   </configuration>
   

from https://stackoverflow.com/questions/34216766/whats-hive-site-xml-including-in-spark-home-looks-like by cc-by-sa and MIT license