[HADOOP] 공기 흐름 DAG 실행을 사용하여 EMR 클러스터 창조, 작업이 완료되면 EMR이 종료됩니다

공기 흐름 DAG 실행을 사용하여 EMR 클러스터 창조, 작업이 완료되면 EMR이 종료됩니다

나는 EMR 클러스터에서 벌금을 실행하는 공기 흐름 작업을해야합니다. 무엇 내가 원하는, 내가 EMR 클러스터를 필요로하는 4 개 공기 흐름 작업이있는 경우의 작업을 완료하기 위해 20 분을 가정 해 봅시다 대한의 말을 보자. 왜 우리는 DAG 실행 시간에 EMR 클러스터를 만들 수 있으며, 작업이 완료되면 그것은이 EMR 클러스터를 만들어 종료하지 않습니다.

해결법

1. ==============================

   1.물론, 그 자원을 가장 효율적으로 사용할 수있을 것이다. 내가 당신을 경고하자이에 많은 세부 사항이있다; 난 당신이 가야 할만큼 목록을하려고합니다. 난 당신이 발생한 문제와 해결 방법을 나열 자신의 포괄적 인 해답을 추가하는 것이 좋습니다 (이 통해 일단)

   물론, 그 자원을 가장 효율적으로 사용할 수있을 것이다. 내가 당신을 경고하자이에 많은 세부 사항이있다; 난 당신이 가야 할만큼 목록을하려고합니다. 난 당신이 발생한 문제와 해결 방법을 나열 자신의 포괄적 인 해답을 추가하는 것이 좋습니다 (이 통해 일단)

   에 관한 클러스터 생성 / 종료

   에 관한 작업 제출

2. ==============================

   2.이 작업을 수행하는 가장 좋은 방법은 다른 노드 모두 완료 한 후 클러스터를 종료 회전 DAG에의 맨 끝에있는 EMR 클러스터를 생성하여 공기 흐름 DAG의 루트 노드 다음 다른 노드를 가지고 아마.

   이 작업을 수행하는 가장 좋은 방법은 다른 노드 모두 완료 한 후 클러스터를 종료 회전 DAG에의 맨 끝에있는 EMR 클러스터를 생성하여 공기 흐름 DAG의 루트 노드 다음 다른 노드를 가지고 아마.

from https://stackoverflow.com/questions/55227683/emr-cluster-creation-using-airflow-dag-run-once-task-is-done-emr-will-be-termin by cc-by-sa and MIT license