[HADOOP] 쿼리가 실행될 때 하이브가 hadoop을 실행합니까?

쿼리가 실행될 때 하이브가 hadoop을 실행합니까?

나는 벌집과 hadoop이 어떻게 상호 작용하는지 이해하려고합니다. 내가 읽은 자습서에서 HIVE 쿼리를 실행하기 전에 입력 데이터를 얻기 위해 맵 / 축소 작업을 실행하는 것으로 보입니다. 이미 맵을 실행하고 작업을 줄이고 쉽게 구문 분석 가능한 형식으로 데이터를 얻은 경우 왜 기존 데이터베이스에 데이터를 넣지 않습니까?

당신의 도움을 주셔서 감사합니다, 나단

해결법

1. ==============================

   1.Hive는 HDFS에 저장된 파일에서 작동합니다. 가장 단순한 쿼리 이외의 항목에 대해서는 하이브가 mapreduce 작업을 생성하고 실행합니다. 매우 간단한 쿼리 (SELECT * FROM MyTable)의 경우 파일을 디스크에서 스트리밍합니다.

   Hive는 HDFS에 저장된 파일에서 작동합니다. 가장 단순한 쿼리 이외의 항목에 대해서는 하이브가 mapreduce 작업을 생성하고 실행합니다. 매우 간단한 쿼리 (SELECT * FROM MyTable)의 경우 파일을 디스크에서 스트리밍합니다.

   입력 데이터는 MapReduce에서 가져올 필요가 없습니다. HDFS에 업로드 된 간단한 텍스트 파일 일 수 있습니다. http://developer.yahoo.com/hadoop/tutorial/module2.html#commandref를 참조하십시오

2. ==============================

   2.Hive는 대규모 병렬 처리 데이터베이스의 기능을 제공하여 오픈 소스 소프트웨어에서 매우 중요한 공백을 채 웁니다. 다른 세계에서는 수평 확장 가능한 분석 SQL 엔진을 제공합니다. 구체적으로 귀하의 질문에 Hive가 RDMS보다 나은 경우 몇 가지 주요 시나리오를 볼 수 있습니다. a) 데이터는 이미 HDFS에 있으며 MR 작업과 같은 다른 용도로 사용됩니다. b) 단일 서버 RDMBS에로드 할 데이터가 너무 많습니다. c) 데이터는 한두 번만 쿼리하면됩니다. 이 경우 Hive는 RDMBS보다 성능이 느려 데이터 로딩 시간이 느려질 수 있습니다.

   Hive는 대규모 병렬 처리 데이터베이스의 기능을 제공하여 오픈 소스 소프트웨어에서 매우 중요한 공백을 채 웁니다. 다른 세계에서는 수평 확장 가능한 분석 SQL 엔진을 제공합니다. 구체적으로 귀하의 질문에 Hive가 RDMS보다 나은 경우 몇 가지 주요 시나리오를 볼 수 있습니다. a) 데이터는 이미 HDFS에 있으며 MR 작업과 같은 다른 용도로 사용됩니다. b) 단일 서버 RDMBS에로드 할 데이터가 너무 많습니다. c) 데이터는 한두 번만 쿼리하면됩니다. 이 경우 Hive는 RDMBS보다 성능이 느려 데이터 로딩 시간이 느려질 수 있습니다.

3. ==============================

   3.예. Hive는 계산을 분산시킨 Hadoop 위에 구축됩니다. Hive는 파일을 저장하기 위해 HDFS에 액세스합니다. 모든 테이블은 HDFS에 파일로 저장됩니다.

   예. Hive는 계산을 분산시킨 Hadoop 위에 구축됩니다. Hive는 파일을 저장하기 위해 HDFS에 액세스합니다. 모든 테이블은 HDFS에 파일로 저장됩니다.

from https://stackoverflow.com/questions/10249020/does-hive-run-hadoop-when-a-query-is-executed by cc-by-sa and MIT license