[HADOOP] 독립형 모드 스파크 : 근무는 클라우 데라에서 제대로 시작하지

독립형 모드 스파크 : 근무는 클라우 데라에서 제대로 시작하지

나는 클라우 데라 매니저에서 사용할 수있는 소포를 사용하여 스파크를 설치 한 후, 스파크에 새로운 오전.

클라우 데라 엔터프라이즈에서 아래 링크에서와 같이 나는 파일을 구성했습니다 :

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.8.1/Cloudera-Manager-Installation-Guide/cmig_spark_installation_standalone.html

이 설정 후, 나는 /opt/cloudera/parcels/SPARK/lib/spark/sbin/start-all.sh을 실행하여 스파크의 모든 노드를 시작했습니다. 나는 아래에 지정된 오류가 발생했습니다 그러나 나는 노동자 노드를 실행할 수 없습니다.

[root@localhost sbin]# sh start-all.sh
org.apache.spark.deploy.master.Master running as process 32405. Stop it first.
root@localhost.localdomain's password: 
localhost.localdomain: starting org.apache.spark.deploy.worker.Worker, logging to /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain: failed to launch org.apache.spark.deploy.worker.Worker:
localhost.localdomain:      at java.lang.ClassLoader.loadClass(libgcj.so.10)
localhost.localdomain:      at gnu.java.lang.MainThread.run(libgcj.so.10)
localhost.localdomain: full log in /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain:starting org.apac

내가 JPS 명령을 실행하면, 내가 가지고 :

23367 Jps
28053 QuorumPeerMain
28218 SecondaryNameNode
32405 Master
28148 DataNode
7852 Main
28159 NameNode

나는 제대로 작업자 노드를 실행할 수 없습니다. 사실 나는 독립 스파크를 설치하는 생각 어디 하나의 시스템에서 마스터 및 작업자 작업. 스파크 디렉토리의 노예 파일에서, 나는 나의 호스트 이름입니다 "localhost.localdomin"로 주소를 부여. 나는이 설정 파일을 인식하지입니다. 하나 구름이 설치 과정 좀 도와주십시오. 사실은 내가 작업자 노드를 실행할 수 없습니다. 하지만 마스터 노드를 시작할 수 있습니다.

감사 및 감사  bips

해결법

1. ==============================

   1.아래의 오류 정보를 통지하십시오

   아래의 오류 정보를 통지하십시오

   localhost.localdomain:      at java.lang.ClassLoader.loadClass(libgcj.so.10)
   

   내가 설치 libgcj.x86_64 및 libgcj.i686 내 서버에 설치되었다는 것을 확인 한 후 마스터 / CentOS는 근로자가 6.2 x86_64의 스파크 시작했을 때 나는 같은 오류를 만났다, 마지막으로 나는 그것을 해결했다. 다음은 내 솔루션입니다, 그것은 당신을 도울 수 바랍니다. 당신의 JAVA_HOME 환경 변수가 올바르게 설정하지 않은 것처럼 그것은 보인다. 어쩌면, 시스템 임베디드 자바로 JAVA_HOME 링크, 예를 들어, 자바 버전 "1.5.0". 스파크는 자바 버전> = 1.6.0이 필요합니다. 당신이 불꽃을 시작하는 자바 1.5.0를 사용하는 경우,이 오류 정보를 볼 수 있습니다. 다시 불꽃을 시작, JAVA_HOME = "자바 홈 경로를"수출하려고합니다.

from https://stackoverflow.com/questions/22341819/spark-standalone-mode-worker-not-starting-properly-in-cloudera by cc-by-sa and MIT license