[HADOOP] 아파치 헬릭스 대 YARN

아파치 헬릭스 대 YARN

Apache Helix와 Hadoop YARN (MRv2)의 차이점은 무엇입니까? 누구나 두 기술에 대한 경험이 있습니까? 누군가 나에게 Helix의 장점 / 단점을 설명 할 수 있습니까? 왜 LinkedIn 사람들은 YARN 대신 자신의 클러스터 관리를 개발 했습니까?

미리 감사드립니다. 토비

해결법

1. ==============================

   1.Helix와 YARN은 모두 분산 응용 프로그램을 관리하는 기능을 제공하지만이 두 가지 기능 간에는 중요한 차이점이 있습니다.

   Helix와 YARN은 모두 분산 응용 프로그램을 관리하는 기능을 제공하지만이 두 가지 기능 간에는 중요한 차이점이 있습니다.

   YARN은 주로 시스템 클러스터 전반에 걸쳐 자원 관리 기능을 제공하는 반면 응용 프로그램은 사용자 정의 논리를 작성하여 자원 관리자와 자원을 협상해야합니다. 반면에 Helix는 분산 응용 프로그램의 상태를 선언적으로 관리하는 방법을 제공하므로 응용 프로그램을 사용자 지정 구현을 수행하지 않아도됩니다. 현재 Helix는 YARN과 같은 방법으로 리소스 관리 기능을 제공하지 않습니다. 따라서 두 시스템은 서로 보완 적입니다.

   예를 들어, 노드 세트가 있고 컨테이너를 시작하려고한다고 가정하십시오.

   YARN은 위의 작업을 수행하기위한 프레임 워크 / 기계를 제공합니다. 컨테이너가 있으면 다음 기능을 구현해야합니다.

   Helix를 사용하면 위의 기능을 쉽게 구현할 수 있습니다. YARN에서는이를 달성하기 위해 응용 프로그램 마스터를 작성해야합니다 (이러한 구현의 예는 hadoop 맵 축소 작업을위한 응용 프로그램 마스터입니다).

   Helix는 온라인 / 니어 라인 공간에서 분산 데이터 시스템을 관리하기 위해 LinkedIn에서 개발되었습니다. 이 공간에서 컨테이너가 실행되면 충돌이 발생할 때까지 계속 실행됩니다. 컨테이너에 오류가 발생하면 나머지 컨테이너간에 작업이 재배포 될 수 있습니다.

   YARN에는지도 축소 작업과 같이 수명이 짧은 작업에 사용 가능한 하드웨어를 유연하고 효율적으로 활용할 수있는 리소스 예약 알고리즘이 포함되어 있습니다.

from https://stackoverflow.com/questions/16401412/apache-helix-vs-yarn by cc-by-sa and MIT license