[HADOOP] JDBC를 사용하여 Java에서 Hive로 연결

JDBC를 사용하여 Java에서 Hive로 연결

Java에서 하이브 서버 1에 연결하려고합니다. 나는이 포럼에서 한 시간 전에 질문을 찾았지만 그것은 나를 위해 일하지 않습니다. 이 코드를 사용하고 있습니다.

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveJdbcClient {
  private static String driverName = "org.apache.hive.jdbc.HiveDriver";

  /**
   * @param args
   * @throws SQLException
   */
  public static void main(String[] args) throws SQLException {
      try {
      Class.forName(driverName);
    } catch (ClassNotFoundException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
      System.exit(1);
    }
    //replace "hive" here with the name of the user the queries should run as
    Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "hive", "");
    Statement stmt = con.createStatement();
    String tableName = "testHiveDriverTable";
    stmt.execute("drop table if exists " + tableName);
    stmt.execute("create table " + tableName + " (key int, value string)");
    // show tables
    String sql = "show tables '" + tableName + "'";
    System.out.println("Running: " + sql);
    ResultSet res = stmt.executeQuery(sql);
    if (res.next()) {
      System.out.println(res.getString(1));
    }
       // describe table
    sql = "describe " + tableName;
    System.out.println("Running: " + sql);
    res = stmt.executeQuery(sql);
    while (res.next()) {
      System.out.println(res.getString(1) + "\t" + res.getString(2));
    }


// load data into table
// NOTE: filepath has to be local to the hive server
// NOTE: /tmp/a.txt is a ctrl-A separated file with two fields per line
String filepath = "/tmp/a.txt";
sql = "load data local inpath '" + filepath + "' into table " + tableName;
System.out.println("Running: " + sql);
stmt.execute(sql);

// select * query
sql = "select * from " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
  System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));
}

// regular hive query
sql = "select count(1) from " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
  System.out.println(res.getString(1));
}

그 코드는 가이드에 나와 있습니다. hive-metastore, service, jdbc, exec, core 및 more .jar를 .java의 동일한 경로에 복사했습니다. 내가 컴파일 할 때, 나는이 msg를 얻는다 :

java.lang.ClassNotFoundException: org.apache.hadoop.hive.jdbc.HiveDriver
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:190)
    at HiveJdbcClient.main(HiveJdbcClient.java:14)

아무도 여기서 무슨 일이 일어나는 지 아나요?

해결법

1. ==============================

   1.시험

   시험

   private static String driverName = "org.apache.hive.jdbc.HiveDriver"
   

   대신에

   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
   

   코드에 Class.forName (driverName) 문을 추가했기를 바랍니다.

2. ==============================

   2.나는 당신의 질문에 당신이 그 하이브 서버 1이라고 생각합니다. 그렇다면 드라이버 이름과 연결 문자열은 다음과 같아야합니다 :

   나는 당신의 질문에 당신이 그 하이브 서버 1이라고 생각합니다. 그렇다면 드라이버 이름과 연결 문자열은 다음과 같아야합니다 :

   "org.apache.hadoop.hive.jdbc.HiveDriver"
   
   jdbc:hive://localhost:10000/default", "", "")
   

   하이브 서버 2를 사용하고 있다면, 다음과 같이되어야합니다 :

   org.apache.hive.jdbc.HiveDriver
   
   jdbc:hive2://<host>:<port>/<db>
   

   당신이 주어진 것처럼 동일한 샘플을 사용했고 하이브를 pom.xml의 종속성과 연결할 수 있습니다.

      <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-metastore</artifactId>
           <version>0.12.0-cdh5.0.0</version>
       </dependency>
   
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-service</artifactId>
           <version>0.12.0-cdh5.0.0</version>
       </dependency>
   
       <!-- runtime Hive -->
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-common</artifactId>
           <version>0.12.0-cdh5.0.0</version>
           <scope>runtime</scope>
       </dependency>
   
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-beeline</artifactId>
           <version>0.12.0-cdh5.0.0</version>
           <scope>runtime</scope>
       </dependency>
   
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-jdbc</artifactId>
           <version>0.12.0-cdh5.0.0</version>
           <scope>runtime</scope>
       </dependency>
   
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-shims</artifactId>
           <version>0.12.0-cdh5.0.0</version>
           <scope>runtime</scope>
       </dependency>
   
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-serde</artifactId>
           <version>0.12.0-cdh5.0.0</version>
           <scope>runtime</scope>
       </dependency>
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-contrib</artifactId>
           <version>0.12.0-cdh5.0.0</version>
           <scope>runtime</scope>
       </dependency>
       <dependency>
   

3. ==============================

   3.너는 두 곳에서 바꿔야 해.

   너는 두 곳에서 바꿔야 해.

   이것을 사용하십시오

   private static String driverName = "org.apache.hive.jdbc.HiveDriver"
   

   대신에

   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
   

   두 번째는 이것을 사용하십시오

   jdbc:hive2://localhost:10000/default", "", ""
   

   대신에

   jdbc:hive://localhost:10000/default", "", ""
   

from https://stackoverflow.com/questions/25157273/connect-from-java-to-hive-using-jdbc by cc-by-sa and MIT license