[HADOOP] 하이브를 통해 Hbase에 액세스 할 수 있도록 HBase, hadoop, 하이브를 설정하는 올바른 방법은 무엇입니까?
HADOOP하이브를 통해 Hbase에 액세스 할 수 있도록 HBase, hadoop, 하이브를 설정하는 올바른 방법은 무엇입니까?
hbase / hadoop / hive를 구성하고 설치하는 데 문제가 있습니다. 우분투와 VM에서 지금까지 내가 한 일 14.04.3 LTS :
https://askubuntu.com/questions/56104/how%E2%80%8B-can-i-install-sun-o%E2%80%8Bracles-proprietary-j%E2%80%8Bava-jdk-6-7-8-or-jre%E2%80%8B
핵심 site.xml :
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_60
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hfu/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hfu/hadoop/hdfs/datanode</value>
</property>
</configuration>
hbase-env.sh
export JAVA_HOME = / usr / lib / jvm / jdk1.8.0_60 /
hbase-site.xml
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>file:///home/hfu/hbase-0.98.0-hadoop2/data</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hfu/hbase-0.98.0-hadoop2/zookeeper</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase-unsecure</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ubuntu</value>
</property>
<property>
<name>hbase.master</name>
<value>ubuntu:16000</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
hive-enf.sh
export HADOOP_HOME=/home/hfu/hadoop-2.6.1
시작하다 :
sbin/start-all.sh
hbase 시작 :
bin/start-hbase.sh
HBASE 셸에서 가능한 테이블을 만듭니다. 나는 또한 그것에 몇 가지 항목을 넣을 수 있습니다. 나는 하이브를 시작하기 전에 이것을 콘솔에 씁니다.
export HADOOP_USER_CLASSPATH_FIRST=true
예외를 막기 위해
하이브에서는 테이블을 만들고 그 안에서 내용을 읽을 수 있습니다. 하지만 자습서의 일부로 설명 된 것처럼 양쪽 모두를 연결하고자 할 때
http://chase-seibert.github.io/blog/2013/05/10/hive-hbase-quickstart.html
또는 http://www.n10k.com/blog/hbase-via-hive-pt1/
나는 예외를 얻는다. 나는 또 다른 게시물에서 내 문제를 일찍이 설명했지만이 내용은 훨씬 자세하다. HBase에서 Hive로 테이블을 옮기는 방법은 무엇입니까?
해결법
-
==============================
1.HBase와 Hadoop의 잘못된 버전을 사용했습니다. 다음은 hadoop 및 HBase의 버전이 호환되는 개요입니다. http://hbase.apache.org/book.html#hadoop
HBase와 Hadoop의 잘못된 버전을 사용했습니다. 다음은 hadoop 및 HBase의 버전이 호환되는 개요입니다. http://hbase.apache.org/book.html#hadoop
from https://stackoverflow.com/questions/33544169/what-is-the-right-way-to-set-up-hbase-hadoop-hive-to-access-hbase-through-hive by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop의지도 축소 프레임에서 "Selenium Webdriver"를 실행하고지도 단계에서 고정합니다. (0) | 2019.07.30 |
---|---|
[HADOOP] HDFS의 디렉토리가 비어 있는지 확인하기 (0) | 2019.07.30 |
[HADOOP] 네임 노드 UI - 파일 시스템이 가상 분산 모드에서 작동하지 않음 (0) | 2019.07.30 |
[HADOOP] Windows에서 관리자 권한이없는 Hadoop MR 작업 실행 (0) | 2019.07.30 |
[HADOOP] MapReduce, Python 및 NetworkX (0) | 2019.07.30 |