[SCALA] 무엇 setMaster을한다 '지역 [*]`스파크에 의미?

무엇 setMaster을한다 '지역 [*]`스파크에 의미?

나는 로컬로 불꽃을 시작하는 몇 가지 코드를 발견 :

val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val ctx = new SparkContext(conf)

는 [*] 무엇을 의미합니까?

해결법

1. ==============================

   1.다큐먼트에서 :

   다큐먼트에서 :

   ./bin/spark-shell --master local[2]
   

   그리고 여기에서 :

2. ==============================

   2.지역 : 하나 개의 작업자 스레드 (모든 즉 어떤 병렬)와 로컬 스파크 실행합니다.

   지역 : 하나 개의 작업자 스레드 (모든 즉 어떤 병렬)와 로컬 스파크 실행합니다.

   지역 [K] : K 작업자 스레드 로컬로 스파크를 실행은 (이상적으로, 컴퓨터에 코어 수로 설정).

   로컬 [K, F는] K 작업자 스레드와 F의 maxFailures (이 변수에 대한 설명 spark.task.maxFailures 참조)에 로컬로 실행 스파크

   지역 [*] : 컴퓨터에 논리적 코어 많은 작업자 스레드 로컬로 스파크를 실행합니다.

   [*, F] 지역은 : 컴퓨터와 F의 maxFailures 논리적 코어 많은 작업자 스레드 로컬로 스파크를 실행합니다.

   PORT를 : // HOST를 : 불꽃 주어진 스파크 독립형 클러스터 마스터에 연결합니다. 포트는 마스터는 기본적으로 7077 인 사용하도록 구성되어 둘 중 하나 여야합니다.

   스파크 : // HOST1 : PORT1, HOST2 : PORT2 : 사육사와 대기 마스터와 주어진 스파크 독립형 클러스터에 연결합니다. 목록은 사육사로 설정 고 가용성 클러스터의 모든 마스터 호스트가 있어야합니다. 포트는 각 마스터는 기본적으로 7077 인 사용하도록 구성되어 중이어야합니다.

   메소 : // HOST : PORT : 주어진 메소 클러스터에 연결합니다. 포트는 기본적으로 5050 인 사용하도록 구성되어 둘 중 하나 여야합니다. 또는 사육사를 사용하여 메소 클러스터에 대해, 메소를 사용 : // ZK : //가 .... --deploy 모드 클러스터 제출하려면 HOST : PORT는 MesosClusterDispatcher에 연결하도록 구성해야합니다.

   원사 : --deploy 모드의 값에 따라 클라이언트 또는 클러스터 모드에서 원사 클러스터에 연결합니다. 클러스터의 위치는 HADOOP_CONF_DIR 또는 YARN_CONF_DIR 변수를 기반으로 발견됩니다.

   https://spark.apache.org/docs/latest/submitting-applications.html

3. ==============================

   3.일부 추가 정보

   일부 추가 정보

   "지역"또는 구성된 마스터와 로컬 스파크 스트리밍 프로그램을 실행하지 마십시오 "지역 [1]". 이 작업에 대해 하나의 CPU를 할당하고 수신기가 실행중인 경우, 어떤 자원이 수신 된 데이터를 처리하기 위해 남아 있지있다. 적어도 "지역 [2]"더 많은 코어를 사용합니다.

   번개 - 빠른 빅 데이터 분석 : -Learning 스파크에서

4. ==============================

   4.마스터 URL

   마스터 URL

   당신은 지역, 지방의 [n] 또는 마스터 URL에 대한 [*] 가장 일반적인 지방을 사용하여 로컬 모드에서 스파크를 실행할 수 있습니다.

   URL은 전체에서 사용할 수있는 얼마나 많은 스레드 말한다 :

   로컬 용도 1 개 스레드 만.

   로컬 [N]을 n 개의 스레드를 이용한다.

   지역은 [*] 자바 가상 머신이 이용 가능한 프로세서의 수만큼 스레드를 사용 (이 Runtime.getRuntime.availableProcessors ()를 사용 번호를 알아야합니다).

   로컬 [N은 maxFailures (호출 된 로컬 시도) (상술 한 바와 같이)은 N * 또는 사용하는 스레드의 수는 존재하고 maxFailures spark.task.maxFailures의 가치와.

from https://stackoverflow.com/questions/32356143/what-does-setmaster-local-mean-in-spark by cc-by-sa and MIT license