[HADOOP] YARN의 작업에 대한 총 리소스 할당

YARN의 작업에 대한 총 리소스 할당

나는 Hadoop을 처음 사용합니다. 내가 작업을 실행하면 해당 작업에 대한 총 리소스 할당이 251248654 MB-seconds, 24462 vcore-seconds로 표시됩니다. 그러나 클러스터에 대한 세부 정보를 찾으면 총 888 개의 Vcores 및 총 15.90 TB의 메모리가 있음을 보여줍니다. 아무도 이것이 어떻게 관련이 있는지 말해 줄 수 있습니까? MB 초 및 Vcore 초가 작업에 어떤 영향을 미칩니 까?

이 자료를 온라인에서 확인할 수 있습니까? 나는 서핑을 시도했다, dint는 적당한 대답을 얻는다.

해결법

1. ==============================

   1.

   VCores-Total: Indicates the total number of VCores available in the cluster
   Memory-Total: Indicates the total memory available in the cluster.
   

   예 : 단일 노드 클러스터가 있습니다. 컨테이너 당 메모리 요구 사항은 1228MB (구성 : yarn.scheduler.minimum-allocation-mb로 결정)이고 컨테이너 당 vCores는 1 vCore (구성 : 원사에 의해 결정됨)로 설정되었습니다. scheduler.minimum-allocation-vcores).

   나는 9830 MB에 yarn.nodemanager.resource.memory-mb를 설정했다. 따라서 노드 당 컨테이너가 8 개 (9830 / 1228 = 8)가 될 수 있습니다.

   그래서, 내 클러스터 :

   VCores-Total = 1 (node) * 8 (containers) * 1 (vCore per container) = 8 
   Memory-Total = 1 (node) * 8 (containers) * 1228 MB (memory per container) = 9824 MB = 9.59375 GB = 9.6 GB
   

   아래 그림은 내 클러스터 메트릭을 보여줍니다.

   이제 "MB-seconds"와 "vcore-seconds"를 봅시다. 코드 (ApplicationResourceUsageReport.java)의 설명에 따라 :

   MB-seconds : 응용 프로그램이 할당 한 총 메모리 양 (메가 바이트)은 응용 프로그램이 실행 된 시간 (초)입니다.

   vcore-seconds : 응용 프로그램이 할당 한 총 vcores 수에 응용 프로그램이 실행 된 시간 (초)을 곱합니다.

   설명은 자체적으로 설명됩니다 (핵심 단어 : 집합을 기억하십시오).

   이 예를 들어 설명해 드리겠습니다. DistCp 작업 (25 개의 컨테이너를 생성 함)을 실행했는데 다음과 같은 결과가 나타납니다.

   Aggregate Resource Allocation : 10361661 MB-seconds, 8424 vcore-seconds
   

   이제는 각 컨테이너가 얼마나 많은 시간을 소비했는지에 대한 대략적인 계산을 해봅시다.

   For memory:
   10361661 MB-seconds = 10361661 / 25 (containers) / 1228 MB (memory per container) = 337.51 seconds = 5.62 minutes
   
   For CPU
   8424 vcore-seconds = 8424 / 25 (containers) / 1 (vCore per container) = 336.96 seconds = 5.616 minutes
   

   이것은 평균적으로 각 컨테이너가 실행하는데 5.62 분이 걸렸음을 나타냅니다.

   희망이 명확하게. 작업을 실행하고 직접 확인하십시오.

from https://stackoverflow.com/questions/33866888/aggregate-resource-allocation-for-a-job-in-yarn by cc-by-sa and MIT license