[HADOOP] 마스터는 원사로 시작해야합니다.

마스터는 원사로 시작해야합니다.

SparkPi 예제를 실행하려고 할 때이 오류가 발생합니다.

   beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar
        Spark assembly has been built with Hive, including Datanucleus jars on classpath
        Error: Master must start with yarn, spark, mesos, or local
        Run with --help for usage help or --verbose for debug output
        Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

또한 이미 다른 터미널을 통해 마스터를 시작합니다.

>./sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /home/beyhan/spark-1.2.0-bin-hadoop2.4/sbin/../logs/spark-beyhan-org.apache.spark.deploy.master.Master-1-beyhan.out

어떠한 제안 ? 감사.

해결법

1. ==============================

   1.Spark 다운로드 및 추출 :

   Spark 다운로드 및 추출 :

   $ cd ~/Downloads
   $ wget -c http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz
   $ cd /tmp
   $ tar zxf ~/Downloads/spark-1.2.0-bin-hadoop2.4.tgz
   $ cd spark-1.2.0-bin-hadoop2.4/
   

   마스터 시작 :

   $ sbin/start-master.sh
   

   위의 명령이 인쇄 한 파일의 로그에서 마스터의 URL을 찾습니다. 마스터는 spark : // ego-server : 7077이라고 가정합니다.

   이 경우 다음 URL을 방문하여 마스터 URL을 찾을 수도 있습니다. http : // localhost : 8080 /

   하나의 슬레이브를 시작하고 마스터에 연결하십시오.

   $ sbin/start-slave.sh --master spark://ego-server:7077
   

   마스터 실행 및 실행이 해당 마스터에 바인드 된 쉘을 시작하도록하는 또 다른 방법은 다음과 같습니다.

   $ bin/spark-submit --master "spark://ego-server:7077"
   

   불꽃 껍데기가 있으면 모든 것이 잘 보입니다.

   지금 당신의 일을 실행하십시오 :

   $ find . -name "spark-example*jar"
   ./lib/spark-examples-1.2.0-hadoop2.4.0.jar
   
   $ bin/spark-submit --master "spark://ego-server:7077" --class org.apache.spark.examples.SparkPi ./lib/spark-examples-1.2.0-hadoop2.4.0.jar
   

2. ==============================

   2.오류가 발생했습니다.

   오류가 발생했습니다.

   스파크는 마스터 자아 클라이언트를 인식하지 못합니다.

   용도

   --master local
   

   스파크 또는

   --master spark://your-spark-master-ip:7077
   

from https://stackoverflow.com/questions/33150147/master-must-start-with-yarn-spark by cc-by-sa and MIT license