복붙노트

[HADOOP] 하이브를 통해 Hbase에 액세스 할 수 있도록 HBase, hadoop, 하이브를 설정하는 올바른 방법은 무엇입니까?

HADOOP

하이브를 통해 Hbase에 액세스 할 수 있도록 HBase, hadoop, 하이브를 설정하는 올바른 방법은 무엇입니까?

hbase / hadoop / hive를 구성하고 설치하는 데 문제가 있습니다. 우분투와 VM에서 지금까지 내가 한 일 14.04.3 LTS :

https://askubuntu.com/questions/56104/how%E2%80%8B-can-i-install-sun-o%E2%80%8Bracles-proprietary-j%E2%80%8Bava-jdk-6-7-8-or-jre%E2%80%8B

핵심 site.xml :

 <configuration>
    <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

hadoop-env.sh

 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_60

hdfs-site.xml

  <configuration>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///home/hfu/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///home/hfu/hadoop/hdfs/datanode</value>
    </property>
    </configuration>

hbase-env.sh

export JAVA_HOME = / usr / lib / jvm / jdk1.8.0_60 /

hbase-site.xml

  <configuration>
    <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>
    <property>
    <name>hbase.rootdir</name>
    <value>file:///home/hfu/hbase-0.98.0-hadoop2/data</value>
    </property>
    <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hfu/hbase-0.98.0-hadoop2/zookeeper</value>
    </property>
    <property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase-unsecure</value>
    </property>
    <property>
    <name>hbase.zookeeper.quorum</name>
    <value>ubuntu</value>
    </property>
    <property>
    <name>hbase.master</name>
    <value>ubuntu:16000</value>
    </property>
    <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    </property>
    </configuration>

hive-enf.sh

export HADOOP_HOME=/home/hfu/hadoop-2.6.1

시작하다 :

sbin/start-all.sh

hbase 시작 :

bin/start-hbase.sh

HBASE 셸에서 가능한 테이블을 만듭니다. 나는 또한 그것에 몇 가지 항목을 넣을 수 있습니다. 나는 하이브를 시작하기 전에 이것을 콘솔에 씁니다.

export HADOOP_USER_CLASSPATH_FIRST=true

예외를 막기 위해

하이브에서는 테이블을 만들고 그 안에서 내용을 읽을 수 있습니다. 하지만 자습서의 일부로 설명 된 것처럼 양쪽 모두를 연결하고자 할 때

http://chase-seibert.github.io/blog/2013/05/10/hive-hbase-quickstart.html

또는 http://www.n10k.com/blog/hbase-via-hive-pt1/

나는 예외를 얻는다. 나는 또 다른 게시물에서 내 문제를 일찍이 설명했지만이 내용은 훨씬 자세하다. HBase에서 Hive로 테이블을 옮기는 방법은 무엇입니까?

해결법

  1. ==============================

    1.HBase와 Hadoop의 잘못된 버전을 사용했습니다. 다음은 hadoop 및 HBase의 버전이 호환되는 개요입니다. http://hbase.apache.org/book.html#hadoop

    HBase와 Hadoop의 잘못된 버전을 사용했습니다. 다음은 hadoop 및 HBase의 버전이 호환되는 개요입니다. http://hbase.apache.org/book.html#hadoop

  2. from https://stackoverflow.com/questions/33544169/what-is-the-right-way-to-set-up-hbase-hadoop-hive-to-access-hbase-through-hive by cc-by-sa and MIT license