[HADOOP] hadoop 클러스터가 동일한 하드웨어에서 실행되어야합니까?

hadoop 클러스터가 동일한 하드웨어에서 실행되어야합니까?

나는 그것이 실행되는 머신이 서로 매우 다르다면 Hadoop의 성능이 크게 떨어지는 것을 읽었던 것을 기억하지만 더 이상 그 코멘트를 찾을 수 없다. 내 그룹에 의해 직접 관리되지 않는 VM 배열에 대해 Hadoop 클러스터를 실행하는 것을 고려 중입니다. 요청이 필요한지 여부를 알아야합니다.

따라서 동일한 하드웨어가있는 모든 컴퓨터를 고집해야합니까? 아니면 다른 하드웨어 구성의 다른 컴퓨터에서 실행해도 괜찮습니까?

감사.

해결법

1. ==============================

   1.다음 논문은 이기종 클러스터가 hadoop map-reduce의 성능에 미치는 영향을 설명합니다.

   다음 논문은 이기종 클러스터가 hadoop map-reduce의 성능에 미치는 영향을 설명합니다.

   다음 참조는 더 자세한 내용을 가지고 있습니다 :

   또한 이기종 클러스터의 성능을 향상 시키거나이 성능 저하를 피할 수있는 방법을 제공합니다.

   현명하게 클러스터에 동종의 기계가 있다고 제안되지만,이 기계의 사양 및 성능 차이가 크게 다르지 않으면 클러스터 구축을 계속해야합니다.

   생산 시스템의 경우 균질 한 기계를 제안해야합니다. 개발을 위해서는 성능이 중요하지 않습니다.

   Hadoop 클러스터를 구축 한 후에는 벤치 마크 할 수 있어야합니다.

2. ==============================

   2.균질 한 클러스터가 확실히 이상적이지만 꼭 필요한 것은 아닙니다. 예를 들어 Yahoo!, Inc.는 프로덕션 환경에서 이기종 클러스터를 실행합니다. 연구자들과 이야기하면서 일정 잡기 문제 (성능 인식 스케줄링을 도구에 추가하기 위해 열심히 노력하고 있음)로 인한 성능 저하가 있음을 알았지 만 패널티가 그리 큰 문제는 아닙니다.

   균질 한 클러스터가 확실히 이상적이지만 꼭 필요한 것은 아닙니다. 예를 들어 Yahoo!, Inc.는 프로덕션 환경에서 이기종 클러스터를 실행합니다. 연구자들과 이야기하면서 일정 잡기 문제 (성능 인식 스케줄링을 도구에 추가하기 위해 열심히 노력하고 있음)로 인한 성능 저하가 있음을 알았지 만 패널티가 그리 큰 문제는 아닙니다.

from https://stackoverflow.com/questions/11194472/should-hadoop-clusters-run-on-identical-hardware by cc-by-sa and MIT license