복붙노트

[HADOOP] Oozie 작업을 병렬로 실행

HADOOP

Oozie 작업을 병렬로 실행

Hue의 워크 플로 편집기를 사용하여 Oozie 워크 플로를 개발하고 있습니다. 병렬로 실행해야 할 작업이 몇 가지 있습니다.

둘 이상의 작업을 동시에 실행할 수 있습니까? 색조에서 어떻게 설정할 수 있습니까?

해결법

  1. ==============================

    1.네 가능합니다. 다양한 Oozie 워크 플로우 노드 중 두 가지 제어 노드 포크와 결합이 있습니다.

    네 가능합니다. 다양한 Oozie 워크 플로우 노드 중 두 가지 제어 노드 포크와 결합이 있습니다.

    직관적이지는 않지만 Hue는이를 지원합니다. 워크 플로에서 동작을 끌어서 놓을 수는 있지만 제어 노드에 대해서도 동일한 작업을 수행 할 수 없습니다.

    한 실행 경로를 두 개의 동시 경로로 분할하려면 한 동작을 다른 동작으로 드래그합니다 (예 : 아래 예에서 step_B를 step_A로 드래그).

    그러면 포크 노드가 자동으로 추가되고 적절한 조치가 아래에 배치됩니다.

  2. from https://stackoverflow.com/questions/25988809/running-oozie-actions-in-parallel by cc-by-sa and MIT license