[HADOOP] 실행중인 응용 프로그램에서 사용되는 컨테이너 및 VC 수를 가져 오는 YARN 셸 명령

실행중인 응용 프로그램에서 사용되는 컨테이너 및 VC 수를 가져 오는 YARN 셸 명령

hadoop 작업 목록은 mapreduce 작업 만 표시하는 것으로 보이지만 내 자원 관리자 UI는 YARN (Spark 및 Tez과 같은 항목 포함)에서 실행중인 모든 작업에 대해 "할당 된 CPU VCores"및 "할당 된 메모리 MB"와 같은 것을 표시합니다.

이러한 결과를 UI로 이동하는 대신 명령 줄을 통해 어떻게 얻을 수 있습니까?

해결법

1. ==============================

   1.YARN은 다양한 유형의 응용 프로그램을 지원합니다. "MapReduce"는 YARN에서 지원하는 응용 프로그램 중 하나입니다. hadoop 작업 (더 이상 사용되지 않는 맵핑 된 작업을 사용해야 함) 또는 맵핑 된 작업을 사용하는 경우 MapReduce 작업 만 조작 할 수 있습니다.

   YARN은 다양한 유형의 응용 프로그램을 지원합니다. "MapReduce"는 YARN에서 지원하는 응용 프로그램 중 하나입니다. hadoop 작업 (더 이상 사용되지 않는 맵핑 된 작업을 사용해야 함) 또는 맵핑 된 작업을 사용하는 경우 MapReduce 작업 만 조작 할 수 있습니다.

   여러 유형의 응용 프로그램 (mapreduce, spark 등)의 상태를 보려면 YARN CLI를 사용해야합니다.

   예 : "yarn application -list -appStates ALL"은 모든 응용 프로그램의 상태를 나열합니다. 이 명령의 출력에는 응용 프로그램 유형 (예 : MapReduce 응용 프로그램 용 MAPREDUCE)을 나타내는 "Application-Type"열이 있습니다.

   응용 프로그램, 응용 프로그램 시도, 컨테이너 등에 대한 세부 정보를 얻을 수 있습니다. 2.7.1 버전의 Hadoop에 대한 명령은 다음과 같습니다. https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn- site / YarnCommands.html.

   그러나 이러한 명령은 CLI를 통해 "Allocated CPU VCores"및 "Allocated Memory MB"와 같은 세부 정보를 반환하지 않습니다.

   yarn 응용 프로그램 -status {Application ID} 명령은 "MB-seconds"및 "vcore-seconds"의 관점에서 "Aggregate Resource Allocation"을 반환합니다.

   예 : 반환 된 내 응용 프로그램 중 하나에 대한 - 상태 :

   총 리소스 할당 : 12865641 MB-seconds, 1041 vcore-seconds

from https://stackoverflow.com/questions/33174401/yarn-shell-command-to-get-number-of-containers-and-vcores-used-by-running-applic by cc-by-sa and MIT license