[HADOOP] 분산 작업 예약, 관리 및보고

분산 작업 예약, 관리 및보고

저는 최근에 Hadoop을 가지고 놀았으며 MapReduce 작업의 스케줄링, 관리 및보고에 깊은 인상을 받았습니다. 새로운 작업의 배포와 실행이 매우 원활하게 이루어 지므로 개발자는 자신의 직무 수행에 집중할 수 있습니다.

MapReduce 문제로 쉽게 표현되지 않는 작업의 분산 된 실행을위한 Java 도메인에 어떤 것이 있는지 궁금합니다. 예 :

그런 분산 컴퓨팅 환경을 제공하는 Java 프레임 워크 / 플랫폼이 있습니까? 또는 Hadoop을 사용하여 이러한 종류의 작업을 수용 할 수 있습니까? 그렇다면 이러한 유형의 작업에 대한 패턴이나 지침이 있습니까?

해결법

1. ==============================

   1.그 후 Spring Batch와 Spring Batch Integration이 많은 요구 사항을 해결하는 것으로 나타났습니다. 내가 어떻게 일어나는지 알려줄거야.

   그 후 Spring Batch와 Spring Batch Integration이 많은 요구 사항을 해결하는 것으로 나타났습니다. 내가 어떻게 일어나는지 알려줄거야.

2. ==============================

   2.Quartz를 살펴 보자. 원격으로 작업을 관리하고 작업을 실행하기 위해 여러 대의 컴퓨터를 클러스터링하는 것과 같은 것을 지원한다고 생각합니다.

   Quartz를 살펴 보자. 원격으로 작업을 관리하고 작업을 실행하기 위해 여러 대의 컴퓨터를 클러스터링하는 것과 같은 것을 지원한다고 생각합니다.

3. ==============================

   3.나는 당신이 CPU 집약적 인 작업을위한 워크 플로우 엔진을 찾고 있다고 생각한다. ( "과학적 워크 플로우"도 알고있다. 예 : http://www.extreme.indiana.edu/swf-survey). 그러나 나는 그것이 얼마나 분산되어 있는지 확신하지 못합니다. 일반적으로 모든 워크 플로 엔진에는 "단일 지점 오류"가 있습니다.

   나는 당신이 CPU 집약적 인 작업을위한 워크 플로우 엔진을 찾고 있다고 생각한다. ( "과학적 워크 플로우"도 알고있다. 예 : http://www.extreme.indiana.edu/swf-survey). 그러나 나는 그것이 얼마나 분산되어 있는지 확신하지 못합니다. 일반적으로 모든 워크 플로 엔진에는 "단일 지점 오류"가 있습니다.

4. ==============================

   4.나는지도 - 축소 문제로 표현할 수있는 몇 가지 문제가 있다고 생각한다.

   나는지도 - 축소 문제로 표현할 수있는 몇 가지 문제가 있다고 생각한다.

   구조에 맞게 수정할 수없는 문제의 경우 Java의 ExecutorService를 사용하여 직접 설정할 수 있습니다. 그러나 하나의 JVM으로 제한되며 상당히 낮은 레벨입니다. 그러나 쉽게 조정 및 동기화 할 수 있습니다.

5. ==============================

   5.ProActive Scheduler는 요구 사항, 특히 작업 조정으로 언급 한 복잡한 워크 플로에 적합합니다. 그것은 오픈 소스와 자바 기반입니다. 당신은 아무것도, 하둡 작업, 스크립트, Java 코드를 실행하는 데 사용할 수 있습니다 ...

   ProActive Scheduler는 요구 사항, 특히 작업 조정으로 언급 한 복잡한 워크 플로에 적합합니다. 그것은 오픈 소스와 자바 기반입니다. 당신은 아무것도, 하둡 작업, 스크립트, Java 코드를 실행하는 데 사용할 수 있습니다 ...

   면책 조항 : 나는 그 회사의 뒤편에서 일하고있다.

6. ==============================

   6.Redisson 프레임 워크를 사용해보십시오. java.util.concurrent.Callable 및 java.lang.Runnable 태스크를 실행 및 예약하기위한 쉬운 API를 제공합니다. 분산 된 Executor 서비스 및 Scheduler 서비스에 대한 설명서입니다.

   Redisson 프레임 워크를 사용해보십시오. java.util.concurrent.Callable 및 java.lang.Runnable 태스크를 실행 및 예약하기위한 쉬운 API를 제공합니다. 분산 된 Executor 서비스 및 Scheduler 서비스에 대한 설명서입니다.

from https://stackoverflow.com/questions/1914884/distributed-job-scheduling-management-and-reporting by cc-by-sa and MIT license