[HADOOP] 제안은 우리의 발견 클러스터에서 원사 용기의 사용을 증가 필요

제안은 우리의 발견 클러스터에서 원사 용기의 사용을 증가 필요

현재 설정

문제 설명

우리가 고려하고있는 옵션

요청

해결법

1. ==============================

   1.Vcores는 논리 단위이고, 당신이 cgroup을 원사를 사용하고 yarn.nodemanager.resource.percentage - 물리적 CPU 제한이 활성화되지 않는 어쨌든 CPU 코어와 관련이없는에서. 대부분의 작업은 거의 CPU 바인딩하지만 더 일반적으로 O 바운드 / I 네트워크. 당신이 클러스터의 전반적인 CPU 사용률 및 메모리 사용률 본다면 그래서, 당신은 낭비 (예비) 용량에 따라 컨테이너의 크기를 조정할 수 있어야합니다.

   Vcores는 논리 단위이고, 당신이 cgroup을 원사를 사용하고 yarn.nodemanager.resource.percentage - 물리적 CPU 제한이 활성화되지 않는 어쨌든 CPU 코어와 관련이없는에서. 대부분의 작업은 거의 CPU 바인딩하지만 더 일반적으로 O 바운드 / I 네트워크. 당신이 클러스터의 전반적인 CPU 사용률 및 메모리 사용률 본다면 그래서, 당신은 낭비 (예비) 용량에 따라 컨테이너의 크기를 조정할 수 있어야합니다.

   당신은 도구 만 특별 행정구, 신경과 grafana이 명백한 것들의 호스트와 활용도를 측정 할 수 있지만, 당신은 또한 더 많은 아이디어에 대한 브렌든 그레그의 리눅스 성능 도구를 볼 수 있습니다.

from https://stackoverflow.com/questions/55255515/suggestions-required-in-increasing-utilization-of-yarn-containers-on-our-discove by cc-by-sa and MIT license