[HADOOP] 초기 작업이 어떤 자원도 수락하지 않았습니다. 작업자가 등록되어 충분한 자원을 보유하고 있는지 확인하려면 클러스터 UI를 확인하십시오

초기 작업이 어떤 자원도 수락하지 않았습니다. 작업자가 등록되어 충분한 자원을 보유하고 있는지 확인하려면 클러스터 UI를 확인하십시오

이클립스에서 spark 예제를 실행하고이 일반 오류를 얻으려고합니다. 초기 작업이 모든 리소스를 승인하지 않았습니다. 작업자가 등록되어 있고 충분한 자원을 보유하고 있는지 확인하려면 클러스터 UI를 점검하십시오.

내가 가지고있는 버전은 spark-1.6.2-bin-hadoop2.6입니다. 쉘에서 ./sbin/start-master.sh 명령을 사용하여 spark를 시작했고 다음과 같이 sparkConf를 설정했습니다.

SparkConf conf = new SparkConf().setAppName("Simple Application");
conf.setMaster("spark://My-Mac-mini.local:7077");

이 오류는 내가 실행중인 모든 예제와 함께 팝업되기 때문에 여기에 다른 코드를 가져 오지는 않습니다. 이 머신은 Mac OSX이며, 가장 간단한 예제를 실행하기에 충분한 리소스가 있다고 확신합니다.

내가 뭘 놓치고 있니?

해결법

1. ==============================

   1.오류는 클러스터에 현재 작업에 대한 리소스가 부족함을 나타냅니다. 작업자와 작업자를 시작하지 않았기 때문에 오류가 발생했습니다. 클러스터에는 작업에 할당 할 리소스가 없습니다. 노예를 시작하면 효과가 있습니다.

   오류는 클러스터에 현재 작업에 대한 리소스가 부족함을 나타냅니다. 작업자와 작업자를 시작하지 않았기 때문에 오류가 발생했습니다. 클러스터에는 작업에 할당 할 리소스가 없습니다. 노예를 시작하면 효과가 있습니다.

   `start-slave.sh <spark://master-ip:7077>`
   

2. ==============================

   2.귀하의 답변에 대한 해결책

   귀하의 답변에 대한 해결책

   이유

   고치다

   결론

   대체 방법

3. ==============================

   3.나는 같은 문제가 있었는데, 그것은 노동자들이 운전자와 교통 할 수 없었기 때문이었다.

   나는 같은 문제가 있었는데, 그것은 노동자들이 운전자와 교통 할 수 없었기 때문이었다.

   드라이버에서 spark-submit 명령을 사용하여 spark.driver.port (드라이버에서 해당 포트를 열 수 있음), spark.driver.host 및 spark.driver.bindAddress를 설정해야합니다.

4. ==============================

   4.* .local name 대신 "spark : //127.0.0.1 : 7077"을 마스터 주소로 사용해보십시오. 언젠가 java는 .local 주소를 해석 할 수 없다. 이해가 안되는 이유 때문이다.

   * .local name 대신 "spark : //127.0.0.1 : 7077"을 마스터 주소로 사용해보십시오. 언젠가 java는 .local 주소를 해석 할 수 없다. 이해가 안되는 이유 때문이다.

from https://stackoverflow.com/questions/38118572/initial-job-has-not-accepted-any-resources-check-your-cluster-ui-to-ensure-that by cc-by-sa and MIT license