[HADOOP] 하이브 실행 훅

하이브 실행 훅

나는 아파치 하이브에서 커스텀 실행 훅 (hook)을 갈구 할 필요가있다. 누군가 어떻게하는지 알고 있으면 알려주세요.

현재 사용중인 환경은 다음과 같습니다.

Hadoop : Cloudera 버전 4.1.2 운영 체제 : Centos

감사, 아룬

해결법

1. ==============================

   1.사용자 정의 코드를 삽입 할 단계에 따라 몇 가지 유형의 후크가 있습니다.

   사용자 정의 코드를 삽입 할 단계에 따라 몇 가지 유형의 후크가 있습니다.

   스크립트를 실행하면 처리 흐름은 다음과 같습니다.

   각 후크마다 구현해야하는 인터페이스를 지정했습니다. 괄호 안에 해당하는 conf가 있습니다. 소품. 등록하기 위해 설정해야하는 수업 초반에 수업. 예 : PreExecution 훅 설정 (워크 플로의 9 번째 단계)

   HiveConf.ConfVars.PREEXECHOOKS -> hive.exec.pre.hooks :
   set hive.exec.pre.hooks=com.example.MyPreHook;
   

   불행하게도 이러한 기능은 실제로 문서화되어 있지 않지만, 항상 Driver 클래스를 조사하여 후크의 평가 순서를 확인할 수 있습니다.

   비고 : 하이브 0.11.0을 여기에서 가정했는데, 나는 클라우 데라 분포 다르다 (너무 많이)

2. ==============================

   2.좋은 시작 -> http://dharmeshkakadia.github.io/hive-hook/

   좋은 시작 -> http://dharmeshkakadia.github.io/hive-hook/

   예제가 있습니다 ...

   참고 : hue에서 실행하면 콘솔의 hive cli가 메시지를 표시하고 로거를 추가하면 hiveserver2 로그 역할에서 결과를 볼 수 있습니다.

from https://stackoverflow.com/questions/17461932/hive-execution-hook by cc-by-sa and MIT license