[HADOOP] hadoop없이 Hive를 사용하는 방법
HADOOPhadoop없이 Hive를 사용하는 방법
저는 NoSQL 솔루션을 처음 접했고 Hive와 게임하고 싶습니다. 하지만 HDFS / Hadoop을 설치하는 데는 많은 리소스와 시간이 필요합니다 (경험이 없을 수도 있지만 시간이 없습니다).
HDFS / Hadoop없이 로컬 컴퓨터에 Hive를 설치하고 사용하는 방법이 있습니까?
해결법
-
==============================
1.예, 당신은 하이브없이 실행할 수 있습니다. 1. 로컬 시스템에서웨어 하우스 생성 2. 기본 fs를 file : ///로 지정합니다. hadoop 설치없이 로컬 모드에서 하이브를 실행할 수있는 것보다
예, 당신은 하이브없이 실행할 수 있습니다. 1. 로컬 시스템에서웨어 하우스 생성 2. 기본 fs를 file : ///로 지정합니다. hadoop 설치없이 로컬 모드에서 하이브를 실행할 수있는 것보다
Hive-site.xml에서
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <!-- this should eventually be deprecated since the metastore should supply this --> <name>hive.metastore.warehouse.dir</name> <value>file:///tmp</value> <description></description> </property> <property> <name>fs.default.name</name> <value>file:///tmp</value> </property> </configuration>
-
==============================
2.이런 식으로 사용하는 것이 좋습니다.
이런 식으로 사용하는 것이 좋습니다.
http://hortonworks.com/products/hortonworks-sandbox/
바로 시작할 수있는 모든 기능을 갖춘 완벽한 기능의 VM입니다.
-
==============================
3.결정을 내리기 전에 하이브를 경험하는 것에 대해 이야기하고 있다면 @Maltram이 제안한대로 미리 구성된 VM을 사용할 수 있습니다 (Hortonworks, Cloudera, IBM 및 다른 모든 사람들은 그러한 VM을 제공함)
결정을 내리기 전에 하이브를 경험하는 것에 대해 이야기하고 있다면 @Maltram이 제안한대로 미리 구성된 VM을 사용할 수 있습니다 (Hortonworks, Cloudera, IBM 및 다른 모든 사람들은 그러한 VM을 제공함)
Hadoop과 HDFS가 없으면 Hive를 프로덕션 환경에서 사용할 수 없다는 것을 명심해야합니다. 그래서 문제가된다면 Hive 대신에 Hive
-
==============================
4.하이브를 다운로드하고 실행하면됩니다.
하이브를 다운로드하고 실행하면됩니다.
./bin/hiveserver2 Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
Hadoop은 핵심과 같으며 Hive는 라이브러리를 필요로합니다.
-
==============================
5.업데이트이 답변은 오래되었습니다 : Hive on Spark을 사용하면 더 이상 hdfs를 지원할 필요가 없습니다.
업데이트이 답변은 오래되었습니다 : Hive on Spark을 사용하면 더 이상 hdfs를 지원할 필요가 없습니다.
Hive는 hdfs와 map / reduce를 필요로하므로 필요합니다. 다른 대답은 당신을 위해 모든 구성 요소를 가져 오는 간단한 / 미리 구성된 방법을 추천한다는 의미에서 약간의 장점이 있습니다.
그러나 그것의 요지는 다음과 같습니다. 하이브가 필요하고 어느 정도 m / r을 필요로하므로이를 처리해야합니다.
from https://stackoverflow.com/questions/21329856/how-to-use-hive-without-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop 실행 중 오류 (0) | 2019.07.13 |
---|---|
[HADOOP] 단어를 기준으로 문자열 필터링 (0) | 2019.07.13 |
[HADOOP] 하이브 테이블에서 중복 레코드를 삭제하는 방법? (0) | 2019.07.13 |
[HADOOP] 자바 8에서 작동하지 않는 spark로 원사를 실 행한다. (0) | 2019.07.12 |
[HADOOP] 로깅 기능을 사용하더라도 내 원사 응용 프로그램에 로그가없는 이유는 무엇입니까? (0) | 2019.07.12 |