[HADOOP] YARN의 컨테이너 란 무엇입니까?

YARN의 컨테이너 란 무엇입니까?

YARN의 컨테이너 란 무엇입니까? nodemanager의 작업이 실행되는 자식 JVM과 다른가?

해결법

1. ==============================

   1.이는 주어진 클러스터에서 단일 노드의 자원 (메모리)을 나타냅니다. 컨테이너는

   이는 주어진 클러스터에서 단일 노드의 자원 (메모리)을 나타냅니다. 컨테이너는

   하나의 MR 작업이 그러한 컨테이너에서 실행됩니다.

2. ==============================

   2.단일 노드 (또는 매우 큰 단일 노드)에는 여러 개의 컨테이너가있을 수 있습니다.

   단일 노드 (또는 매우 큰 단일 노드)에는 여러 개의 컨테이너가있을 수 있습니다.

   자원, ResourceManager / Resource Model 섹션을 참조하십시오.

3. ==============================

   3.Hadoop 2.x에서 컨테이너는 작업 단위가 발생하는 장소입니다. 예를 들어 모든 MapReduce 작업 (전체 작업 아님)은 하나의 컨테이너에서 실행됩니다.

   Hadoop 2.x에서 컨테이너는 작업 단위가 발생하는 장소입니다. 예를 들어 모든 MapReduce 작업 (전체 작업 아님)은 하나의 컨테이너에서 실행됩니다.

   응용 프로그램 / 작업은 하나 이상의 컨테이너에서 실행됩니다.

   시스템 자원 세트는 각 컨테이너에 할당되며, 현재 CPU 코어 및 RAM이 지원됩니다. Hadoop 클러스터의 각 노드는 여러 컨테이너를 실행할 수 있습니다.

   Hadoop 1.x에서는 각 MapReduce 작업을 실행하기 위해 JobTracker가 슬롯을 할당합니다. 그런 다음 TaskTracker는 각 작업에 대해 별도의 JVM을 생성합니다 (JVM 재사용이 활성화되어 있지 않은 경우).

4. ==============================

   4.Word 'Container'는 YARN에서 두 가지 상황에서 사용됩니다.

   Word 'Container'는 YARN에서 두 가지 상황에서 사용됩니다.

   컨테이너 : ApplicationMaster에 할당 된 리소스를 나타냅니다. ResourceManager는 ApplicationMaster에 리소스 / 컨테이너를 발행합니다. Container API를 확인하십시오.

   컨테이너 시작 : 할당 된 자원 (컨테이너)을 기준으로 ApplicationMaster가 NodeManager에서 컨테이너를 시작하도록 요청하여 노드에서 작업을 실행합니다. ContainerManager API를 확인하십시오.

5. ==============================

   5.간단히 말해, 컨테이너는 YARN 응용 프로그램이 실행되는 장소입니다. 각 노드에서 사용할 수 있습니다. 응용 프로그램 마스터는 스케줄러 (Resource Manager의 구성 요소 중 하나)와 컨테이너를 협상합니다. 컨테이너는 노드 관리자에 의해 시작됩니다.

   간단히 말해, 컨테이너는 YARN 응용 프로그램이 실행되는 장소입니다. 각 노드에서 사용할 수 있습니다. 응용 프로그램 마스터는 스케줄러 (Resource Manager의 구성 요소 중 하나)와 컨테이너를 협상합니다. 컨테이너는 노드 관리자에 의해 시작됩니다.

6. ==============================

   6.컨테이너는 리소스 할당이며, 특정 ResourceRequest를 부여하는 ResourceManager의 성공적인 결과입니다. 컨테이너는 특정 호스트에서 특정 양의 자원 (메모리, CPU 등)을 사용하도록 응용 프로그램에 권한을 부여합니다.

   컨테이너는 리소스 할당이며, 특정 ResourceRequest를 부여하는 ResourceManager의 성공적인 결과입니다. 컨테이너는 특정 호스트에서 특정 양의 자원 (메모리, CPU 등)을 사용하도록 응용 프로그램에 권한을 부여합니다.

   또한이 URL을 확인할 수 있습니다.

   Hortonworks - Apache Hadoop YARN - 개념 및 응용 프로그램

7. ==============================

   7.

   Container : 
   

   리소스에 대한 논리적 임대 및 노드에서 생성 된 실제 프로세스는 서로 바꿔서 사용됩니다. 작업 (또는 AM)이 실행되는 것과 동일한 프로세스입니다. 컨테이너를 시작하기 위해 컨테이너 객체와 CLC (ContainerLaunchContext)를 제공합니다.이 컨테이너에서는 작업 목록 (또는 AM)을 실행할 명령 목록을 설정합니다.

   nmClient.startContainer(container, clcObj)
   
   ContainerLaunchContext code snippet :
   
   <code>
   .
   .
   .
    /**
      * Add the list of <em>commands</em> for launching the container. All
      * pre-existing List entries are cleared before adding the new List
      * @param commands the list of <em>commands</em> for launching the container
      */
     @Public
     @Stable
     public abstract void setCommands(List<String> commands);
   </code>
   

8. ==============================

   8.입력 데이터의 크기에 따라 여러 입력 분할이 작성됩니다. MR 작업은이 전체 데이터를 처리하여 여러 작업을 생성해야합니다 (작업 매핑 및 축소). 따라서 각 입력 분할에 대해 하나의 작업으로 처리됩니다. 이제이 태스크를 실행하는 방법은 자원 관리자가 제안합니다. 리소스 매니저는 어느 노드 매니저가 자유롭고 어떤 노드 매니저가 바쁜가를 알고있다. 대학과 노드 매니저의 교장은 대학의 수업 교사이고 교장은 자유인을 안다. 따라서 노드 관리자에게 컨테이너 (즉, 작업 전체의 작은 부분), 즉 jvm과 같은 메모리 영역에서 작업을 실행하도록 요청합니다. 따라서 작업은 컨테이너 내부의 응용 프로그램 마스터로 실행됩니다.

   입력 데이터의 크기에 따라 여러 입력 분할이 작성됩니다. MR 작업은이 전체 데이터를 처리하여 여러 작업을 생성해야합니다 (작업 매핑 및 축소). 따라서 각 입력 분할에 대해 하나의 작업으로 처리됩니다. 이제이 태스크를 실행하는 방법은 자원 관리자가 제안합니다. 리소스 매니저는 어느 노드 매니저가 자유롭고 어떤 노드 매니저가 바쁜가를 알고있다. 대학과 노드 매니저의 교장은 대학의 수업 교사이고 교장은 자유인을 안다. 따라서 노드 관리자에게 컨테이너 (즉, 작업 전체의 작은 부분), 즉 jvm과 같은 메모리 영역에서 작업을 실행하도록 요청합니다. 따라서 작업은 컨테이너 내부의 응용 프로그램 마스터로 실행됩니다.

9. ==============================

   9.컨테이너는 응용 프로그램이 작업을 실행하는 곳입니다. 클러스터에서 실행중인 컨테이너의 총 수를 알고 싶으면 클러스터 얀 리소스 관리자 UI를 체크인 할 수 있습니다.

   컨테이너는 응용 프로그램이 작업을 실행하는 곳입니다. 클러스터에서 실행중인 컨테이너의 총 수를 알고 싶으면 클러스터 얀 리소스 관리자 UI를 체크인 할 수 있습니다.

   원사 URL : http : // Your-Active-ResourceManager-IP : 45020 / cluster / apps / RUNNING

   "Running containers (운영 컨테이너)"열에서 총 수입니다. 컨테이너 정보를 실행 중입니다.

   참고 : spark를 사용하는 경우 spark executor가 컨테이너 내부에서 실행됩니다. 하나의 컨테이너는 여러 스파크 실행자를 수용 할 수 있습니다.

from https://stackoverflow.com/questions/14365218/what-is-a-container-in-yarn by cc-by-sa and MIT license