[HADOOP] 동적 oozie 파라미터를 계산 (MR의 행동 이경 수)
HADOOP동적 oozie 파라미터를 계산 (MR의 행동 이경 수)
내 oozie 워크 플로우에서 나는 동적으로 하이브 테이블을 생성, T1은 말한다. 이 하이브 조치는 다음지도-감소 작용에 의해 따른다. 나는 필드의 고유 한 값에 동일은 (T1.group)라고 감속기 속성 (mapred.reduce.tasks)의 수를 설정합니다. 모든 아이디어를 어떻게 동적으로 일부 oozie 매개 변수의 값을 설정하는 방법 oozie 매개 변수 하이브 별개의 작업에서 매개 변수의 값을 얻을?
해결법
-
==============================
1.난이 도움이 될 수 있습니다 희망 :
난이 도움이 될 수 있습니다 희망 :
from https://stackoverflow.com/questions/38325306/dynamically-calculating-oozie-parameter-number-of-reducers-for-mr-action by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 일식을 통합하고 2.6 하둡하는 방법 (0) | 2019.10.20 |
---|---|
[HADOOP] 하둡에 ElasticSearch 쿼리를 전달하는 방법 (0) | 2019.10.20 |
[HADOOP] 하이브 오류 : java.lang.Exception 상위 : 자식 오류 (0) | 2019.10.20 |
[HADOOP] 어떻게 HBase를에 플랫 파일 (안 구분 된 파일)을로드? (0) | 2019.10.20 |
[HADOOP] 진수에 하이브 CsvSerde 표를 구분 (0) | 2019.10.20 |