[HADOOP] 하둡 하이브 mapred 작업에 대한 최대 감속기를 제한 할 수있는 기능?

하둡 하이브 mapred 작업에 대한 최대 감속기를 제한 할 수있는 기능?

나는 내 쿼리를 붙이는 시도했다 :

set mapred.running.reduce.limit = 25;

과

 set hive.exec.reducers.max = 35;

내가 그것을 시도하고 35로 작업 (530) 감속기 가치 신발 경적 거라고 생각하게 35까지 530 감속기와 함께 작업 투옥 마지막 하나 ....

지금 제공

set mapred.tasktracker.reduce.tasks.maximum = 3;

• 그래도 숫자는 노드 당 최대 어떤 종류가 있는지 확인하려고 (이전 70 잠재적 인 감속기의있는 클러스터의 7이었다).

최신 정보:

 set mapred.tasktracker.reduce.tasks.maximum = 3;

영향을 미치지 아니, 시도하지만 가치가 있었다.

해결법

1. ==============================

   1.아니 정확히 질문에 대한 해결책, 그러나 잠재적으로 좋은 타협.

   아니 정확히 질문에 대한 해결책, 그러나 잠재적으로 좋은 타협.

   set hive.exec.reducers.max = 45;
   

   400 + 감속기를 가지고 운명의 슈퍼 쿼리의 경우,이 아래에 35 감속기 총 가장 비싼 하이브 작업을 투옥하는 일도 종종 벌어. 실제로 70 감속기 한 번으로 실행할 수 있도록 내 클러스터는 현재 10 개 노드, 7 감속기를 지원하는 각 노드에 ...있다. 미만 70까지 일을 수감, 나는 최종 제품에 눈에 띄는 변화없이 속도에 약간의 개선이 나타났습니다. 생산이 테스트 정확히 여기에 무슨 일이 일어나고 있는지 알아 내려고합니다. 중간에 그것은 좋은 타협 솔루션입니다.

from https://stackoverflow.com/questions/4924674/ability-to-limit-maximum-reducers-for-a-hadoop-hive-mapred-job by cc-by-sa and MIT license