[HADOOP] YARN에서 스파크의 로그는 어디에 있습니까?

YARN에서 스파크의 로그는 어디에 있습니까?

나는 불꽃을 처음 피우다. 이제 spark 0.9.1을 원사 (2.0.0-cdh4.2.1)에서 실행할 수 있습니다. 그러나 실행 후 로그가 없습니다.

다음 명령은 스파크 예제를 실행하는 데 사용됩니다. 그러나 정상적인 MapReduce 작업과 같이 히스토리 서버에는 로그가 없습니다.

SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone  --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1

로그 / stderr / stdout은 어디에서 찾을 수 있습니까?

구성을 설정할 수있는 곳이 있습니까? 콘솔에서 출력을 찾았습니다.

이 줄에서 통지 1> $ LOG_DIR / stdout 2> $ LOG_DIR / stderr

LOG_DIR은 어디에 설정할 수 있습니까?

해결법

1. ==============================

   1.이 질문에 대한 예쁜 기사 :

   이 질문에 대한 예쁜 기사 :

   YARN에서 Spark 실행 - "응용 프로그램 디버깅"섹션을 참조하십시오. 모든 필수 예제와 함께 괜찮은 설명.

   Spark에서 올바르게 작업 히스토리 서버를 얻으려면 애플리케이션에서 Spark 컨텍스트를 닫아야합니다. 그렇지 않으면 응용 프로그램 기록 서버가 사용자를 COMPLETE으로 보지 않으며 아무 것도 표시하지 않습니다 (기록 UI는 액세스 가능하지만 보이지는 않지만).

2. ==============================

   2.명령을 통해 로그에 액세스 할 수 있습니다.

   명령을 통해 로그에 액세스 할 수 있습니다.

   원사 로그 -applicationId <응용 프로그램 ID> [옵션]

   일반적인 옵션은 다음과 같습니다.

   예 :

   yarn logs -applicationId application_1414530900704_0003                                      
   yarn logs -applicationId application_1414530900704_0003 myuserid
   
   // the user ids are different
   yarn logs -applicationId <appid> --appOwner <userid>
   

3. ==============================

   3.어떤 답을해도 통나무를 어디에서 찾을 것인지 분명하게 밝혀지지 않습니다.

   어떤 답을해도 통나무를 어디에서 찾을 것인지 분명하게 밝혀지지 않습니다.

   로그 집계가 켜져 있으면 (yarn.log-aggregation-enabled yarn-site.xml 사용) 다음을 수행하십시오

   yarn logs -applicationId <app ID>
   

   그러나이 기능이 켜져 있지 않으면 Data-Node 시스템으로 가야합니다.

   $HADOOP_HOME/logs/userlogs/application_1474886780074_XXXX/
   

   application_1474886780074_XXXX는 애플리케이션 ID입니다.

4. ==============================

   4.로그 기록 :

   로그 기록 :

   /var/log/hadoop-yarn/containers/[application id]/[container id]/stdout
   

   로그는 Spark 작업이 실행되는 모든 노드에 있습니다.

from https://stackoverflow.com/questions/23058663/where-are-logs-in-spark-on-yarn by cc-by-sa and MIT license