[HADOOP] YARN에 배포 할 때 Apache Spark에서 시스템 오류를 처리하는 방법은 무엇입니까?
HADOOPYARN에 배포 할 때 Apache Spark에서 시스템 오류를 처리하는 방법은 무엇입니까?
전제 조건
Apache Spark가 YARN을 사용하는 hadoop 클러스터에 배포되었다고 가정 해 봅시다. 또한 스파크 실행이 실행 중입니다. 아래 나열된 상황을 어떻게 극복 할 수 있습니까?
사례 및 질문
몇 가지 질문이 이상하게 들릴 수도 있습니다. 어쨌든, 당신이 일부 또는 전부에 대답 할 수 있기를 바랍니다. 미리 감사드립니다. :)
해결법
-
==============================
1.다음은 질문에 대한 메일 링리스트의 대답입니다 (Cloudera의 Sandy Ryza가 제공 한 답변).
다음은 질문에 대한 메일 링리스트의 대답입니다 (Cloudera의 Sandy Ryza가 제공 한 답변).
from https://stackoverflow.com/questions/24762672/how-does-apache-spark-handles-system-failure-when-deployed-in-yarn by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 기본 HBase 테이블을 사용하는 튜닝 하이브 쿼리 (0) | 2019.07.10 |
---|---|
[HADOOP] PIG UDF에서 디버깅 (0) | 2019.07.10 |
[HADOOP] Hadoop에서는 프레임 워크가 Map 작업의 출력을 일반 Map-Reduce 응용 프로그램에 저장합니까? (0) | 2019.07.10 |
[HADOOP] Hadoop 블록 크기 및 파일 크기 문제? (0) | 2019.07.10 |
[HADOOP] 원격 Spark 마스터에 연결 - Java / Scala (0) | 2019.07.10 |