[HADOOP] Hadoop namenode : 단일 장애 지점

Hadoop namenode : 단일 장애 지점

Hadoop 아키텍처의 네임 노드는 단일 실패 지점입니다.

Hadoop 클러스터가 많은 사람들은 어떻게이 문제에 대처할 수 있습니까?

업계에서 인정한 솔루션이 있습니까? 예를 들어, 기본 Namedode가 실패 할 경우 보조 Namenode가 대신 작동합니다.

해결법

1. ==============================

   1.Yahoo는 NameNode 실패를 고려하기 위해 서로 다른 클러스터 크기의 구성 설정에 대한 권장 사항을 가지고 있습니다. 예 :

   Yahoo는 NameNode 실패를 고려하기 위해 서로 다른 클러스터 크기의 구성 설정에 대한 권장 사항을 가지고 있습니다. 예 :

   Facebook은 자사의 데이터웨어 하우스에 대해 Hadoop의 조정 버전을 사용합니다. NameNode 신뢰성에 중점을 둔 최적화가 있습니다. 또한 github에서 사용 가능한 패치에 따라 Facebook은 기본 및 보조 NameNode 사이를 신속하게 전환하기 위해 AvatarNode를 사용하는 것으로 나타납니다. Dhruba Borthakur의 블로그에는 NameNode에 대한 통찰력을 단일 실패 지점으로 제공하는 몇 가지 다른 항목이 포함되어 있습니다.

   편집 : 페이스 북의 NameNode 개선 사항에 대한 추가 정보.

2. ==============================

   2.Namenode의 High Availability는 Hadoop 2.x에서 소개되었습니다.

   Namenode의 High Availability는 Hadoop 2.x에서 소개되었습니다.

   NFS와 QJM의 두 가지 모드로 구현할 수 있습니다.

   그러나 쿼럼 저널 관리자 (QJM)의 고 가용성은 기본 옵션입니다.

   완벽한 SE (Failover) 프로세스를 설명하는 SE 질문을보십시오.

   Hadoop 2.x의 2 차 NameNode 사용 및 고 가용성

   Hadoop Namenode 장애 조치 프로세스는 어떻게 작동합니까?

3. ==============================

   3.대형 Hadoop 클러스터에는 수천 개의 데이터 노드와 하나의 이름 노드가 있습니다. 실패 할 확률은 기계 수와 함께 선형 적으로 올라갑니다 (다른 모든 것은 동일합니다). 따라서 Hadoop이 데이터 노드 실패에 대처하지 못한다면 확장되지 않을 것입니다. 여전히 단 하나의 이름 노드가 있기 때문에 SPOF (Single Point of Failure)가 있지만 실패 확률은 여전히 ​​낮습니다.

   대형 Hadoop 클러스터에는 수천 개의 데이터 노드와 하나의 이름 노드가 있습니다. 실패 할 확률은 기계 수와 함께 선형 적으로 올라갑니다 (다른 모든 것은 동일합니다). 따라서 Hadoop이 데이터 노드 실패에 대처하지 못한다면 확장되지 않을 것입니다. 여전히 단 하나의 이름 노드가 있기 때문에 SPOF (Single Point of Failure)가 있지만 실패 확률은 여전히 ​​낮습니다.

   그 슬픈, 페이스 북에 대한 Bkkbrad의 대답은 이름 노드에 장애 조치 기능을 추가하는 것입니다.

from https://stackoverflow.com/questions/4502275/hadoop-namenode-single-point-of-failure by cc-by-sa and MIT license