[HADOOP] Spark Pi : 원사를 사용한 클러스터 모드의 예 : 연관 손실

Spark Pi : 원사를 사용한 클러스터 모드의 예 : 연관 손실

3 개의 가상 머신이 분산 Spark 클러스터로 실행됩니다. 나는 기본 Hadoop 2.6.0과 함께 Spark 1.3.0을 사용하고 있습니다.

Spark Pi 예제를 실행하면

/usr/local/spark130/bin/spark-submit 
--class org.apache.spark.examples.SparkPi  
--master yarn-client /usr/local/spark130/examples/target/spark-examples_2.10-1.3.0.jar  10000

이 경고 / 오류 및 결국 예외가 발생합니다.

 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/08 12:37:06 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@virtm4:47128] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
15/04/08 12:37:12 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@virtm4:45975] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
15/04/08 12:37:13 ERROR YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

컨테이너의 로그를 확인할 때 그것이 SIGTERM-ed라는 것을 알았습니다.

15/04/08 12:37:08 INFO yarn.YarnAllocator: Container request (host: Any, capability: <memory:1408, vCores:1>)
15/04/08 12:37:08 INFO yarn.YarnAllocator: Container request (host: Any, capability: <memory:1408, vCores:1>)
15/04/08 12:37:08 INFO yarn.ApplicationMaster: Started progress reporter thread - sleep time : 5000
15/04/08 12:37:12 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL 15: SIGTERM
15/04/08 12:37:12 INFO yarn.ApplicationMaster: Final app status: UNDEFINED, exitCode: 0, (reason: Shutdown hook called before final status was reported.)
15/04/08 12:37:12 INFO yarn.ApplicationMaster: Unregistering ApplicationMaster with UNDEFINED (diag message: Shutdown hook called before final status was reported.)

해결책: 나는 그 문제를 해결했다. Java8 대신 Java7을 사용합니다. 이 상황은 버그로보고되었지만 https://issues.apache.org/jira/browse/SPARK-6388처럼 거부되었습니다. 그러나 Java 버전을 변경하면 효과가있었습니다.

해결법

1. ==============================

   1.연결은 Java 8 과도한 메모리 할당 문제로 인해 손실 될 수 있습니다. https://issues.apache.org/jira/browse/YARN-4714

   연결은 Java 8 과도한 메모리 할당 문제로 인해 손실 될 수 있습니다. https://issues.apache.org/jira/browse/YARN-4714

   yarn-site.xml에서 다음 속성을 설정하여 YARN이이를 무시하도록 할 수 있습니다.

   <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
   </property>
   
   <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
   </property>
   

2. ==============================

   2.이전에 비슷한 문제가 발생하여이 문제를 발견했습니다.

   이전에 비슷한 문제가 발생하여이 문제를 발견했습니다.

   SparkContext 인스턴스를 명시 적으로 중지하십시오. sc.stop ()

from https://stackoverflow.com/questions/29512565/spark-pi-example-in-cluster-mode-with-yarn-association-lost by cc-by-sa and MIT license