[HADOOP] 하이브 / 하둡은 Oozie를 사용으로 임시 쿼리를 예약

하이브 / 하둡은 Oozie를 사용으로 임시 쿼리를 예약

Oozie는 REST API를, 임시 하이브 쿼리를 통해, 사용자 스케줄링을 지원합니까?

우리는 사용자가 하둡에 대한 쿼리를 수행 할 하이브를 사용하여 검색 할 수있는 데이터의 일부 속성을 지정 사용자 (옵션)을 지원, 하둡에서 문서를 검색 할 수있는 시스템을 구축하고 있습니다. 때문에 선택적 필드에 대한 이러한 지원, 우리는 하이브 쿼리 (테이블이 하이브 쿼리에 사용되는 측면에서) 어떻게 보이는지 미리 알 수 없습니다. 우리는 실행 시간에, 우리는 해당 하이브 쿼리를 생성하는 사용자의 쿼리를 처리하는 서비스가있다.

우리는 Oozie를 통해 이러한 쿼리를 예약 할 수 있도록하고 싶습니다,하지만 난 Oozie를 통해이 작업을 수행하는 방법에 대한 문서를 찾을 수 없어. 나는이 가능하다 가정합니다. 샘플 자바 코드는이 작업을 수행하는 방법을 설명 할 수 있습니까?

해결법

1. ==============================

   1.작업, 아파치 여기 문서와 Oozie 코디네이터 여기 예를 예약 할 Oozie 코디네이터를 사용합니다. 또한, 스케줄링을위한 아즈카반 (1, 2)를보십시오.

   작업, 아파치 여기 문서와 Oozie 코디네이터 여기 예를 예약 할 Oozie 코디네이터를 사용합니다. 또한, 스케줄링을위한 아즈카반 (1, 2)를보십시오.

2. ==============================

   2.나머지 API를 통해 프록시 하이브 작업 제출은 사용자가 HDFS에 워크 플로우 XML을 생성하지 않고 작업을 제출할 수 있습니다 :

   나머지 API를 통해 프록시 하이브 작업 제출은 사용자가 HDFS에 워크 플로우 XML을 생성하지 않고 작업을 제출할 수 있습니다 :

   또한 프로그래밍 워크 플로우를 구축 할 유창함 API를 사용할 수 있습니다 :

   전술 한 바와 같이, 코디네이터는 Oozie 일정 및 정기적 워크 플로우를 실행하기 위해 사용될 수있다. 시간 의존성을 넘어, 당신은 또한 워크 플로를 시작하는 (예 : HDFS에 특정 파일의 존재 등) 데이터 종속성을 정의 할 수 있습니다.

from https://stackoverflow.com/questions/23275414/scheduling-an-ad-hoc-query-with-hive-hadoop-using-oozie by cc-by-sa and MIT license