복붙노트

[HADOOP] Hadoop : 감속기의 수가 프로그램에서 설정 한 것과 같지 않습니다.

HADOOP

Hadoop : 감속기의 수가 프로그램에서 설정 한 것과 같지 않습니다.

mapred-site.xml에서 mapred.tasktracker.reduce.tasks.maximum을 10으로 설정했으며 jobConf.setNumReduceTasks (5)도 작성했습니다.

쉘에서 작업을 실행하면 모든 것이 정상입니다.

그러나 내가 일식으로 같은 직업을 운영 할 때 단 하나의 감속기가 시작되었습니다.

이클립스에서 Map / Reduce Locations를 편집하려고하고 mapred.reduce.tasks를 10으로 설정합니다.하지만 여전히 작동하지 않습니다.

이클립스에서 조정할 수있는 다른 매개 변수가 있습니까?

해결법

  1. ==============================

    1.이클립스에서 실행하면 로컬 작업 주자를 사용하는 것 같다. 0 또는 1 개의 감속기 만 지원합니다. 둘 이상의 감속기를 사용하도록 설정하려고하면 무시하고 무시합니다.

    이클립스에서 실행하면 로컬 작업 주자를 사용하는 것 같다. 0 또는 1 개의 감속기 만 지원합니다. 둘 이상의 감속기를 사용하도록 설정하려고하면 무시하고 무시합니다.

  2. from https://stackoverflow.com/questions/12928101/hadoop-number-of-reducer-is-not-equal-to-what-i-have-set-in-program by cc-by-sa and MIT license