[HADOOP] hadoop에서 "uber 모드"의 목적은 무엇입니까?

hadoop에서 "uber 모드"의 목적은 무엇입니까?

안녕하세요 저는 큰 데이터 초보자입니다. 나는 인터넷을 통해 완전히 uber 모드가 무엇인지 찾아 보았다. 더 많이 검색할수록 혼란스러워졌습니다. 아무도 내 질문에 대답함으로써 나를 도울 수 있습니까?

해결법

1. ==============================

   1.Hadoop2에서 UBER 모드 란 무엇입니까?

   Hadoop2에서 UBER 모드 란 무엇입니까?

   일반적으로 매퍼와 리듀서는 ResourceManager (RM)에 의해 실행되며, RM은 매퍼 (mapper)와 리듀서 (reducer)를위한 별도의 컨테이너를 생성합니다.   Uber 구성은 ApplicationMaster (AM)와 동일한 프로세스에서 매퍼 및 축소 기 (reducer)를 실행할 수 있습니다.

   직업 정보 :

   Uber 작업은 MapReduce ApplicationMaster 내에서 실행되는 작업입니다. 오히려 RM과 통신하여 맵퍼 및 감속기 컨테이너를 작성하십시오.    AM은 자체 프로세스 내에서 맵을 실행하고 작업을 줄이고 원격 컨테이너를 시작하고 통신하는 오버 헤드를 피했습니다.

   왜

   작은 데이터 세트를 가지고 있거나 소량의 데이터로 MapReduce를 실행하고 싶다면 MapReduce가 매퍼 (mapper)와 리듀서 (reducers) 단계에서 일반적으로 소비하는 추가 시간을 줄임으로써 Uber 구성이 도움이 될 것입니다.

   모든 MapReduce 작업에 대해 Uber를 구성 할 수 있습니까?

   지금과 같은, 지도 전용 작업 및 하나의 감속기가있는 작업이 지원됩니다.

2. ==============================

   2.Uber Job은 여러 매퍼와 축소 기가 결합되어 단일 컨테이너를 사용하는 경우 발생합니다. mapred-site.xml에는 Uber Job 구성에 관한 네 가지 핵심 설정이 있습니다. Uber Jobs의 구성 옵션 :

   Uber Job은 여러 매퍼와 축소 기가 결합되어 단일 컨테이너를 사용하는 경우 발생합니다. mapred-site.xml에는 Uber Job 구성에 관한 네 가지 핵심 설정이 있습니다. Uber Jobs의 구성 옵션 :

   자세한 내용은 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.15/bk_using-apache-hadoop/content/uber_jobs.html을 참조하십시오.

3. ==============================

   3.hadoop2.x의 관점에서 볼 때, Uber 작업은 MapRoute ApplicationMaster에서 실행되는 작업입니다. 즉,지도 및 축소 작업을 위해 별도의 컨테이너가 생성되지 않으므로 컨테이너를 만들고 그와 통신하는 오버 헤드가 저장됩니다. 지금까지 (hadoop 1.x 및 2.x 사용) 작업은 1.x 및 2.x의 용어에 관해서 만 볼 수있는 차이가 있다고 가정합니다. 작업에는 차이가 없습니다. 구성 매개 변수는 Navneet Kumar가 대답 한 것과 동일합니다. 추신 : 작은 데이터 세트에서만 사용하십시오.

   hadoop2.x의 관점에서 볼 때, Uber 작업은 MapRoute ApplicationMaster에서 실행되는 작업입니다. 즉,지도 및 축소 작업을 위해 별도의 컨테이너가 생성되지 않으므로 컨테이너를 만들고 그와 통신하는 오버 헤드가 저장됩니다. 지금까지 (hadoop 1.x 및 2.x 사용) 작업은 1.x 및 2.x의 용어에 관해서 만 볼 수있는 차이가 있다고 가정합니다. 작업에는 차이가 없습니다. 구성 매개 변수는 Navneet Kumar가 대답 한 것과 동일합니다. 추신 : 작은 데이터 세트에서만 사용하십시오.

4. ==============================

   4.꽤 좋은 답변은 "Uber 모드 란 무엇입니까?" "왜?"에 대한 정보를 추가하기 만하면됩니다.

   꽤 좋은 답변은 "Uber 모드 란 무엇입니까?" "왜?"에 대한 정보를 추가하기 만하면됩니다.

   응용 프로그램 마스터는 다음 작업을 수행하는 방법을 결정합니다. MapReduce 작업을 수행합니다. 작업이 작 으면 응용 프로그램 마스터는 동일한 JVM에서 작업을 실행하도록 선택할 수 있습니다. 이는 새로운 컨테이너에서 작업을 할당하고 실행하는 오버 헤드가 하나의 노드에서 순차적으로 실행되는 것과 비교할 때 병렬로 실행하는 것보다 더 중요하다고 판단 할 때 발생합니다.

   이제 질문은 "소규모 직업 자격이 무엇입니까?

   기본적으로 작은 작업은 10 개 미만의 매퍼와 하나의 축소 기, 입력 크기가 하나의 HDFS 블록 크기보다 작은 작업입니다.

from https://stackoverflow.com/questions/30284237/what-is-the-purpose-of-uber-mode-in-hadoop by cc-by-sa and MIT license