[HADOOP] HDFS 연합

HDFS 연합

HDFS 페더레이션에 관한 몇 가지 기본적인 질문이 있습니다.

클러스터 연합에있는 다른 이름 노드에서 하나의 이름 노드에 작성된 파일을 읽을 수 있습니까?

현재 Hadoop 버전이이 기능을 지원합니까?

해결법

1. ==============================

   1.Apache 웹 사이트에 따라 네임 노드 연합의 작동 방식을 설명하겠습니다

   Apache 웹 사이트에 따라 네임 노드 연합의 작동 방식을 설명하겠습니다

   네임 노드 :

   이름 서비스를 수평으로 확장하기 위해 페더레이션은 여러 개의 독립적 인 네임 노드 / 네임 스페이스를 사용합니다.

   네임 노드는 연합됩니다. 네임 노드는 독립적이며 서로 조정하지 않아도됩니다.

   데이터 노드는 모든 네임 노드에 의해 블록의 공통 스토리지로 사용됩니다. 각 데이터 노드는 클러스터의 모든 네임 노드에 등록됩니다. 데이터 노드는 주기적 하트 비트를 전송하고 보고서를 차단합니다. 또한 네임 노드의 명령도 처리합니다.

   요약하자면,

   이름 노드는 상호 배타적이며 노드 간 통신이 필요하지 않습니다. 데이터 노드는 여러 이름 노드에서 공유 할 수 있습니다.

   귀하의 질문에 대답하기 위해, 그것은 불가능합니다. 데이터가 하나의 이름 노드로 작성된 경우 데이터를 가져 오기 위해 해당 이름 노드에만 접속해야합니다. 다른 이름 노드를 요청할 수 없습니다.

   데이터 복제에 대한 업데이트 된 의견과 관련하여

   복제 팩터가 3 개인 경우 HDFS의 배치 정책은 공식 문서에 따라 로컬 랙의 한 노드에 하나의 복제본을, 로컬 랙의 다른 노드에 하나를 복제하고, 다른 랙의 다른 노드에 하나를 복제하는 것입니다.

   로컬 RAC에 장애가있는 경우이 기능을 사용하여 다른 데이터 센터에서 데이터를 가져올 수 있습니다. 그러나 다른 Federated Namenode가 아닌 하나의 Federated Namenode에서 데이터를 읽는 중입니다.

   하나의 Federated Namenode는 다른 Federated Namenode에서 데이터를 읽을 수 없습니다. 그러나 읽기 및 쓰기 작업을 위해 동일한 데이터 노드 집합을 공유 할 수 있습니다.

   편집하다:

   각 페더레이션에서 네임 노드를 자동으로 페일 오버 할 수 있습니다. 페더레이션에서 Active NameNode가 실패하면 Stand-by Namenode가 Active Namenode 책임을 대신합니다.

   자세한 내용은 아래 SE 게시물을 참조하십시오.

   Hadoop Namenode 장애 조치 프로세스는 어떻게 작동합니까?

2. ==============================

   2.아니요. 그렇게 할 수 없습니다.

   아니요. 그렇게 할 수 없습니다.

3. ==============================

   3.hadoop에서 블록 복제 정책의 기본 동작은 BlockPlacementPolicy 인터페이스를 확장하고 클래스를 Hadoop 구성 파일의 dfs.block.replicator.classname 속성으로 지정하여 수정할 수 있습니다.

   hadoop에서 블록 복제 정책의 기본 동작은 BlockPlacementPolicy 인터페이스를 확장하고 클래스를 Hadoop 구성 파일의 dfs.block.replicator.classname 속성으로 지정하여 수정할 수 있습니다.

   더 나은 사진을 얻으려면 BlockPlacementPolicy를 조사하십시오.

   실제로 클러스터에서 블록을 배치 할 수있는 위치를 수정할 수 있습니다.

from https://stackoverflow.com/questions/33632580/hdfs-federation by cc-by-sa and MIT license