[HADOOP] (YARN)에 스파크가 작업자 노드에 설치되어 있지 않은 경우 어떻게 스파크 집행 인은 시작된다?

(YARN)에 스파크가 작업자 노드에 설치되어 있지 않은 경우 어떻게 스파크 집행 인은 시작된다?

내가 클러스터 모드에서 원사에서 실행중인 아파치 스파크에 관한 질문이 있습니다. 이 스레드에 따르면, 자체가 클러스터의 모든 (근로자) 노드에 설치할 필요가 없습니다 스파크. 내 문제는 스파크 실행자 함께 : 리소스 관리자가 자원 할당에 대한 결정하도록되어 일반적으로 원사에서 또는 오히려. 따라서, 스파크 집행 인은 클러스터의 (근로자) 노드에서 무작위로 발사 할 수있다. 스파크가 어떤 (근로자) 노드에 설치되어 있지 않은 경우하지만, 어떻게 집행 인 원사에 의해 발사 될 촉발 할 수 있습니까?

해결법

1. ==============================

   1.높은 수준에서, 스파크 응용 프로그램이 원사에 출시했을 때,

   높은 수준에서, 스파크 응용 프로그램이 원사에 출시했을 때,

   스파크 드라이버는 데이터를 처리하기 위해 집행에 대한 일련의 행동 (코드)를 전달합니다.

   편집 : (2017년 1월 4일)

from https://stackoverflow.com/questions/41180808/how-are-spark-executors-launched-if-spark-on-yarn-is-not-installed-on-the-work by cc-by-sa and MIT license