[HADOOP] 하둡 맵리 듀스 (사) 다른 전원 / 사양 사용하여 호스트

하둡 맵리 듀스 (사) 다른 전원 / 사양 사용하여 호스트

나는 현재 클러스터의 높은 전력 (CPU / RAM) 호스트를 가지고 우리는 좋은 저장하지만, 낮은 전력 호스트를 추가하는 것을 고려하고있다.

내 관심사는 작업 성능이 저하 될 것입니다. 지도 / 새로운 (약소) 호스트에서 기어가 느리게 실행되고 더 강력한 사람은 바로 결과를 기다려야 할 것이다.

실이를 구성하는 방법이 있나요? 아마 호스트에 대한 우선 순위를 설정하거나 각 시스템에 코어의 수에 따라 매퍼 / 감속기를 할당 할 수 있습니다.

감사합니다, Horatiu

해결법

1. ==============================

   1.원사에서 클러스터 노동자의 각각 다른 하드웨어 리소스 구성을 제공 할 수 있습니다. 원사는 많은 작업 (컨테이너)가 워크로드의 균형을 각 근로자에 ​​할당 할 수있는 방법을 결정합니다.

   원사에서 클러스터 노동자의 각각 다른 하드웨어 리소스 구성을 제공 할 수 있습니다. 원사는 많은 작업 (컨테이너)가 워크로드의 균형을 각 근로자에 ​​할당 할 수있는 방법을 결정합니다.

   즉 별도로 각 작업자 실-site.xml 파일에서 코어 및 메모리의 다른 수를 설정할 수 있습니다.

   이 두 가지 구성 옵션은 당신을 위해 관련된 :

from https://stackoverflow.com/questions/30840962/hadoop-mapreduce-yarn-using-hosts-with-different-power-specifications by cc-by-sa and MIT license