[HADOOP] 공정 및 용량 스케줄러의 차이점은 무엇입니까?

공정 및 용량 스케줄러의 차이점은 무엇입니까?

저는 Hadoop을 처음 접했고 공정 및 용량 스케줄러의 차이점을 알고 싶습니다. 또한 언제 각각 하나씩 사용해야합니까? 인터넷에서 많은 것을 읽었으므로 간단한 방법으로 답해주십시오. 그러나 나는 그다지 많은 것을 얻지 못합니다.

해결법

1. ==============================

   1.공정한 일정 관리는 모든 작업이 시간이 지남에 따라 평균적으로 동등한 리소스를 얻도록 작업에 리소스를 할당하는 방법입니다. 실행중인 단일 작업이 있으면 해당 작업은 전체 클러스터를 사용합니다. 다른 작업이 제출되면 여유 공간이있는 작업 슬롯이 새 작업에 할당되므로 각 작업의 CPU 시간이 대략 같아집니다. 작업의 대기열을 형성하는 기본 Hadoop 스케줄러와는 달리, 이것은 짧은 작업을 합리적인 시간 내에 마칠 수있게 해주 며, 긴 작업을 굶주리게하지는 않습니다. 또한 여러 사용자간에 클러스터를 공유하는 것도 합리적입니다. 마지막으로, 공정한 공유는 작업 우선 순위와 함께 작동 할 수도 있습니다. 우선 순위는 가중치로 사용되어 각 작업에 필요한 전체 계산 시간의 비율을 결정합니다.

   공정한 일정 관리는 모든 작업이 시간이 지남에 따라 평균적으로 동등한 리소스를 얻도록 작업에 리소스를 할당하는 방법입니다. 실행중인 단일 작업이 있으면 해당 작업은 전체 클러스터를 사용합니다. 다른 작업이 제출되면 여유 공간이있는 작업 슬롯이 새 작업에 할당되므로 각 작업의 CPU 시간이 대략 같아집니다. 작업의 대기열을 형성하는 기본 Hadoop 스케줄러와는 달리, 이것은 짧은 작업을 합리적인 시간 내에 마칠 수있게 해주 며, 긴 작업을 굶주리게하지는 않습니다. 또한 여러 사용자간에 클러스터를 공유하는 것도 합리적입니다. 마지막으로, 공정한 공유는 작업 우선 순위와 함께 작동 할 수도 있습니다. 우선 순위는 가중치로 사용되어 각 작업에 필요한 전체 계산 시간의 비율을 결정합니다.

   CapacityScheduler는 각 조직에 최소 용량 보장을 제공하면서 대규모 클러스터를 공유 할 수 있도록 설계되었습니다. 중앙 아이디어는 Hadoop Map-Reduce 클러스터의 사용 가능한 리소스가 컴퓨팅 요구에 따라 클러스터에 집합 적으로 자금을 공급하는 여러 조직으로 분할된다는 것입니다. 조직이 다른 사람이 사용하지 않는 초과 용량에 액세스 할 수 있다는 부가적인 이점이 있습니다. 이는 비용 효과적인 방식으로 조직에 탄력성을 제공합니다.

2. ==============================

   2.다음은 두 스케줄러의 기능별 비교입니다.

   다음은 두 스케줄러의 기능별 비교입니다.

3. ==============================

   3.Fair Scheduler, 각 풀 내에서 공정한 공유를 통해 가중치 별 자원 풀을 할당합니다.

   Fair Scheduler, 각 풀 내에서 공정한 공유를 통해 가중치 별 자원 풀을 할당합니다.

   용량 스케줄러, 각 풀 내에서 FIFO 스케줄링을 통해 리소스를 풀에 할당

   용량 스케줄러는 각 조직의 용량을 보장하면서 대규모 클러스터를 공유 할 수 있도록 설계되었습니다. 초과 용량이 다른 사람에 의해 사용되지 않을 가능성이 있습니다.

from https://stackoverflow.com/questions/26546613/what-is-the-difference-between-the-fair-and-capacity-schedulers by cc-by-sa and MIT license