[HADOOP] 하둡 가상 클러스터 vs 단일 시스템

하둡 가상 클러스터 vs 단일 시스템

속도와 성능에 관한 질문이 있습니다. 단일 시스템에서 여러 가상화 노드 사용 VS 단일 시스템 자체에서 단일 노드를 사용합니다.

어느 것이 더 잘 수행 할 것인가?

이 질문을하는 이유는 현재 하나의 컴퓨터에서 hadoop을 배우고 있기 때문에 하나의 컴퓨터에서 여러 개의 가상화 된 노드를 사용하는 인터넷에서 자습서를 볼 수 있습니다.

미리 감사드립니다.

해결법

1. ==============================

   1.가상화에는 항상 약간의 오버 헤드가 있기 때문에 실제로 필요하지 않으면 가상화 된 환경에서 Hadoop을 실행하는 것을 권장하지 않습니다.

   가상화에는 항상 약간의 오버 헤드가 있기 때문에 실제로 필요하지 않으면 가상화 된 환경에서 Hadoop을 실행하는 것을 권장하지 않습니다.

   즉, VMWare는 가상화 된 환경에서 Hadoop을 작동시키는 데 많은 노력을 기울 였음을 알고 있으며 특정 조건에서 VM을 사용하여 기본 응용 프로그램보다 성능이 좋다고 주장하는 벤치 마크를 게시했습니다. vSphere를 많이 사용하지는 않았지만, 가상화를 더 자세히 탐색하고 싶은 경우이를 볼 수 있습니다. 하지만 당연한 숫자를 사용하지 마십시오. 실제로 실행중인 하드웨어의 유형에 따라 다르므로 일부 조건에서는 VM을 사용하여 성능을 얻을 수 있다고 생각하지만, 대부분의 경우에 VM에서 얻은 성능을 추측하고 있습니다. 아무것도 얻지 못해.

   단지 Hadoop을 시작하고 테스트하는 중이라면 가상화가 과잉이라고 생각합니다. 의사 배포 모드에서 Hadoop을 매우 쉽게 실행할 수 있습니다. 즉, 여러 개의 Hadoop 데몬을 동일한 상자에서 각각 별도의 프로세스로 실행할 수 있습니다. 이것이 내가 Hadoop을 시작하기 위해 사용했던 것과 같습니다. 여기에서 더 많은 정보를 찾을 수 있습니다 (또는 실행중인 Hadoop 버전에 따라 다른 페이지가 필요할 수도 있음).

   실제 클러스터로 테스트하고 싶지만 리소스가없는 지점에 도달하면 Amazon Elastic Map / Reduce를 참조하십시오. 요구에 따라 클러스터를 제공하므로 값이 쌉니다. 그렇게하면 고급 테스트를 수행 할 수 있습니다. 여기에 더 많은 정보가 있습니다.

   결론은 단순히 목적을 테스트하는 경우 가상 클러스터가 실제로 필요하지 않다고 생각합니다.

2. ==============================

   2.이 주제에 대해 수행 된 성능 분석 사례 연구에 따르면 가상 Hadoop 클러스터는 원래의 Hadoop 클러스터에 비해 효율이 약 4 % 낮습니다. Virtualized hadoop 성능 사례 연구

   이 주제에 대해 수행 된 성능 분석 사례 연구에 따르면 가상 Hadoop 클러스터는 원래의 Hadoop 클러스터에 비해 효율이 약 4 % 낮습니다. Virtualized hadoop 성능 사례 연구

from https://stackoverflow.com/questions/14930439/hadoop-virtual-cluster-vs-single-machine by cc-by-sa and MIT license