[HADOOP] 하둡은 의사 모드에서 작동하지 않습니다 최대 동시 맵리 듀스 작업을 설정

하둡은 의사 모드에서 작동하지 않습니다 최대 동시 맵리 듀스 작업을 설정

나는 Psedue 분산 모드를 사용하는 단일 기계 (4 코어)에서 하둡 2.4.1 구성 및 I / 내지도를 실행 HDFS 입력 파일에 하둡 쉘 명령을 통해 프로그램을 줄일 수 있어요.

하지만지도는 여전히 단일 스레드에서 실행되는 모습을 줄일 것을 알 수 있습니다. 그래서 (그냥 시도를 위해 나는 그것이 이상적인 아니라는 것을 알고) (4)에 모두 등록이 mapreduce.tasktracker.map.tasks.maximum 하드 코드와 mapreduce.tasktracker.reduce.tasks.maximum에 노력했다. 하지만 난 여전히지도를보고 시리얼에서 실행되는 작업을 줄일 수 있습니다.

내가 구성하는 방법은 아래에 포함하는 등 / 하둡 / mapred-site.xml 파일을 수정하는 것입니다 :

<configuration>
    <property>
        <name> mapreduce.tasktracker.map.tasks.maximum </name>
        <value> 4 </value>
    </property>

    <property>
        <name> mapreduce.tasktracker.reduce.tasks.maximum </name>
        <value> 4 </value>
    </property>
</configuration>

그리고 명령을 사용하여 TaskTracker 노드를 다시 시작

sbin/hadoop-daemon.sh stop tasktracker
sbin/hadoop-daemon.sh start tasktracker

이 여기에 문서를 다음과 https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/W265aa64a4f21_43ee_b236_c42a1c875961/page/Tuning%20number%20of%20map%20and%20reduce%20slots% 20on 20A % % % 20TaskTracker 20node

그리고, 그것은 단일 스레드에서 실행 스틸 결론 방법 내가 매퍼 개체 또는 감소 객체가 생성자를 재정 의하여, 구성 할 때 뭔가를 인쇄하려고한다는 것입니다. 그럼 매퍼 작성자가 실행 시간에 걸쳐 균일하게 하나씩 구성되며, 감속기 균등 시간에 걸쳐 하나 하나 구성된 것을 나타낸다.

내가 무슨 말이냐?

해결법

1. ==============================

   1.나는 시작하고 TaskTracker를 중지하는 것은 더 이상 하둡 내 사용 버전에서 지원되는지 파악합니다. 두 가지 많은 혼란 정보는 여기 저기 다른 버전 그리고 그들은 혼합.

   나는 시작하고 TaskTracker를 중지하는 것은 더 이상 하둡 내 사용 버전에서 지원되는지 파악합니다. 두 가지 많은 혼란 정보는 여기 저기 다른 버전 그리고 그들은 혼합.

   내가 구성하고 원사를 시작하면, 정말지도 모양 및 작업은 이제 특정 동시성에서 실행됩니다 줄일 수 있습니다. (https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html에 따라 설정). 큰 데이터 세트를 실행할 때 최대 2지도 및 최대 2 개선의 약 10 초를 가져올 수 감소에서 실행 (약 2 분 실행)을, 이것은 어떤 의미가 있습니다.

   두 개의 매개 변수가 mapreduce.tasktracker.map.tasks.maximum & I는 모든 문서가 확인 표시되지 않습니다하지만 mapreduce.tasktracker.reduce.tasks.maximum은 더 이상 적용되지 않습니다처럼 그리고 나에게, 그것도 보인다.

   그리고 대신 원사, 슬롯의 개념이 사라 자원 관리의 모든 컨트롤을 소요하고 아래 그림과 같이 컨테이너 및 VCORE 등이 결합 된 설정을 제공, 노드를 실행할 수있는 방법을 동시 결정합니다.

   http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html

   이것은 아직 내 자신의 이해,하지만 더 확인이 필요합니다.

from https://stackoverflow.com/questions/33130749/hadoop-setting-maxium-simultaneous-map-reduce-task-does-not-work-in-psedue-mode by cc-by-sa and MIT license