복붙노트

[HADOOP] 동적 oozie 파라미터를 계산 (MR의 행동 이경 수)

HADOOP

동적 oozie 파라미터를 계산 (MR의 행동 이경 수)

내 oozie 워크 플로우에서 나는 동적으로 하이브 테이블을 생성, T1은 말한다. 이 하이브 조치는 다음지도-감소 작용에 의해 따른다. 나는 필드의 고유 한 값에 동일은 (T1.group)라고 감속기 속성 (mapred.reduce.tasks)의 수를 설정합니다. 모든 아이디어를 어떻게 동적으로 일부 oozie 매개 변수의 값을 설정하는 방법 oozie 매개 변수 하이브 별개의 작업에서 매개 변수의 값을 얻을?

해결법

  1. ==============================

    1.난이 도움이 될 수 있습니다 희망 :

    난이 도움이 될 수 있습니다 희망 :

  2. from https://stackoverflow.com/questions/38325306/dynamically-calculating-oozie-parameter-number-of-reducers-for-mr-action by cc-by-sa and MIT license