복붙노트

[HADOOP] YARN에 배포 할 때 Apache Spark에서 시스템 오류를 처리하는 방법은 무엇입니까?

HADOOP

YARN에 배포 할 때 Apache Spark에서 시스템 오류를 처리하는 방법은 무엇입니까?

전제 조건

Apache Spark가 YARN을 사용하는 hadoop 클러스터에 배포되었다고 가정 해 봅시다. 또한 스파크 실행이 실행 중입니다. 아래 나열된 상황을 어떻게 극복 할 수 있습니까?

사례 및 질문

몇 가지 질문이 이상하게 들릴 수도 있습니다. 어쨌든, 당신이 일부 또는 전부에 대답 할 수 있기를 바랍니다. 미리 감사드립니다. :)

해결법

  1. ==============================

    1.다음은 질문에 대한 메일 링리스트의 대답입니다 (Cloudera의 Sandy Ryza가 제공 한 답변).

    다음은 질문에 대한 메일 링리스트의 대답입니다 (Cloudera의 Sandy Ryza가 제공 한 답변).

  2. from https://stackoverflow.com/questions/24762672/how-does-apache-spark-handles-system-failure-when-deployed-in-yarn by cc-by-sa and MIT license