[HADOOP] 왜 하둡 스택에 ZooKeeper가 필요한가요?

왜 하둡 스택에 ZooKeeper가 필요한가요?

Hadoop / ZooKeeper를 처음 사용했습니다. ZooKeeper를 Hadoop에 쓰는 목적을 이해할 수 없습니까? ZooKeeper가 Hadoop에 데이터를 쓰고 있습니까? 그렇지 않다면 우리는 왜 ZooKeeper를 Hadoop과 함께 사용합니까?

해결법

1. ==============================

   1.Hadoop 1.x는 사육사를 사용하지 않습니다. HBase는 Hadoop 1.x 설치에서도 사육사를 사용합니다.

   Hadoop 1.x는 사육사를 사용하지 않습니다. HBase는 Hadoop 1.x 설치에서도 사육사를 사용합니다.

   Hadoop은 버전 2.0부터 Zookeeper를 채택했습니다.

   사육사의 목적은 클러스터 관리입니다. 이는 더 작은 특수 컴포넌트를 사용한다는 일반적인 철학과도 맞습니다. 클러스터 기능을 원하는 Hadoop의 구성 요소는 자체 개발보다는 사육사에게 의존합니다.

   사육사는 다음과 같은 보장을 제공하는 분산 저장 장치입니다 (사육사 개요 페이지에서 복사).

   이를 사용하여 잠금, 리더 선거 등과 같은 클러스터 관리에 필요한 다양한 "래서 피"를 구현할 수 있습니다.

   ZooKeeper를 직접 사용하려면 넷플릭스 (Netflix)의 큐레이터 (Curator)를 사용하는 것이 좋습니다 (예 : 상자에서 몇 가지 레시피 구현)

2. ==============================

   2.사육사는 안정적인 분산 조정 문제를 해결하고, hadoop은 분산 시스템입니다. 맞습니까?

   사육사는 안정적인 분산 조정 문제를 해결하고, hadoop은 분산 시스템입니다. 맞습니까?

   이 주제에 관해 읽을 수있는 우수한 종이 Paxos 알고리즘이 있습니다.

3. ==============================

   3.사육사 문서 페이지에서 :

   사육사 문서 페이지에서 :

   hadoop 문서 페이지에서 :

   귀하의 질의에 관하여 :

   바인딩 요소는 분산 처리 및 고 가용성입니다.

   예 : Hadoop Namenode가 프로세스를 페일 오버합니다.

   Hadoop 고 가용성은 장애 조치 프로세스를 위해 Active Namenode 및 Standby 네임 노드를 중심으로 설계되었습니다. 언제든지 두 명의 마스터 (활성 네임 노드)를 동시에 가질 수 없습니다.

   HDFSHighAvailabilityWithQJM의 Apache 설명서 링크에서 :

   사육사는 분할 뇌 상황을 피하기 위해 사용되었습니다. 아래 질문에서 사육사의 역할을 찾을 수 있습니다.

   Hadoop Namenode 장애 조치 프로세스는 어떻게 작동합니까?

from https://stackoverflow.com/questions/10732834/why-do-we-need-zookeeper-in-the-hadoop-stack by cc-by-sa and MIT license