[HADOOP] 멀티 코어 시스템에서의 Hadoop 및 map-reduce

멀티 코어 시스템에서의 Hadoop 및 map-reduce

Hadoop과 Map-Reduce가 기계 클러스터에서 돌아가는 것에 대해 많이 읽었습니다. 아파치 배포판이 여러 개의 코어가있는 SMP에서 실행될 수 있는지 아는 사람이 있습니까? 특히 여러 Map-Reduce 프로세스를 동일한 시스템에서 실행할 수 있습니까? 스케줄러는 여러 코어에 걸쳐 스케줄러를 전파합니다. 감사. - 킬로그램

해결법

1. ==============================

   1.예. RAM과 CPU에 의해 결정되는 각 기계의 다중 맵 슬롯과 축소 슬롯이 있습니다 (각 JVM 인스턴스는 기본적으로 1GB가 필요하므로 16 코어가있는 8GB 머신에는 여전히 7 개의 작업 슬롯이 있어야합니다)

   예. RAM과 CPU에 의해 결정되는 각 기계의 다중 맵 슬롯과 축소 슬롯이 있습니다 (각 JVM 인스턴스는 기본적으로 1GB가 필요하므로 16 코어가있는 8GB 머신에는 여전히 7 개의 작업 슬롯이 있어야합니다)

   hadoop 위키에서

2. ==============================

   2.이러한 경량 MapReduce 프레임 워크를 멀티 코어 컴퓨터에 사용할 수 있습니다.

   이러한 경량 MapReduce 프레임 워크를 멀티 코어 컴퓨터에 사용할 수 있습니다.

   예를 들어

   LeoTask : 멀티 코어 컴퓨터를위한 가볍고, 생산적이며 안정적인 mapreduce 프레임 워크

   https://github.com/mleoking/LeoTask

3. ==============================

   3.Apache Hadoop 2.7.3의 경우, YARN을 활성화하면 다중 코어 지원을 사용할 수 있다는 것이 내 경험이었습니다. 다음은 단일 노드에서 YARN을 사용하기위한 간단한 안내서입니다.

   Apache Hadoop 2.7.3의 경우, YARN을 활성화하면 다중 코어 지원을 사용할 수 있다는 것이 내 경험이었습니다. 다음은 단일 노드에서 YARN을 사용하기위한 간단한 안내서입니다.

   https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_a_Single_Node

   기본 구성은 꽤 잘 작동하는 것 같습니다. 핵심 사용을 조정하려면 yarn-site.xml (https : // hadoop)에서 'yarn.scheduler.minimum-allocation-vcores'및 'yarn.scheduler.maximum-allocation-vcores'를 설정하십시오. apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml)

   또한 멀티 코어 지원이있는 간단한 Hadoop 샌드 박스를 구성하는 방법에 대한 지침은 다음을 참조하십시오. https://bitbucket.org/aperezrathke/hadoop-aee

from https://stackoverflow.com/questions/12657473/hadoop-and-map-reduce-on-multicore-machines by cc-by-sa and MIT license