[HADOOP] Hadoop : 감속기의 수가 프로그램에서 설정 한 것과 같지 않습니다.
HADOOPHadoop : 감속기의 수가 프로그램에서 설정 한 것과 같지 않습니다.
mapred-site.xml에서 mapred.tasktracker.reduce.tasks.maximum을 10으로 설정했으며 jobConf.setNumReduceTasks (5)도 작성했습니다.
쉘에서 작업을 실행하면 모든 것이 정상입니다.
그러나 내가 일식으로 같은 직업을 운영 할 때 단 하나의 감속기가 시작되었습니다.
이클립스에서 Map / Reduce Locations를 편집하려고하고 mapred.reduce.tasks를 10으로 설정합니다.하지만 여전히 작동하지 않습니다.
이클립스에서 조정할 수있는 다른 매개 변수가 있습니까?
해결법
-
==============================
1.이클립스에서 실행하면 로컬 작업 주자를 사용하는 것 같다. 0 또는 1 개의 감속기 만 지원합니다. 둘 이상의 감속기를 사용하도록 설정하려고하면 무시하고 무시합니다.
이클립스에서 실행하면 로컬 작업 주자를 사용하는 것 같다. 0 또는 1 개의 감속기 만 지원합니다. 둘 이상의 감속기를 사용하도록 설정하려고하면 무시하고 무시합니다.
from https://stackoverflow.com/questions/12928101/hadoop-number-of-reducer-is-not-equal-to-what-i-have-set-in-program by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop 및 Python : 정렬 비활성화 (0) | 2019.06.30 |
---|---|
[HADOOP] 파이썬 pyhs2를 사용하여 하이브에 연결하는 방법은 무엇입니까? (0) | 2019.06.30 |
[HADOOP] HBase - java의 java.lang.NoClassDefFoundError (0) | 2019.06.29 |
[HADOOP] cosmos.lab.fi-ware.org의 SafeModeException (0) | 2019.06.29 |
[HADOOP] 특정 주어진 파일을 HDFS에 저장하기 위해 명시 적으로 datanode를 정의하는 방법은 무엇입니까? (0) | 2019.06.29 |