[HADOOP] Hadoop 백업 및 복구 도구 및 지침

Hadoop 백업 및 복구 도구 및 지침

백업 및 복구에 대한 세부 정보를 알아야 할 필요가 있습니다. 오라클 백업 및 복구를 개정 했으니 까?

해결법

1. ==============================

   1.백업 및 복구를위한 몇 가지 옵션이 있습니다. s.singh는 데이터 복제가 DR이 아니라고 지적했습니다.

   백업 및 복구를위한 몇 가지 옵션이 있습니다. s.singh는 데이터 복제가 DR이 아니라고 지적했습니다.

   HDFS는 스냅 샷을 지원합니다. 이것은 사용자 오류를 방지하고 파일을 복구하는 등의 작업에 사용될 수 있습니다. 즉, Hadoop 클러스터가 완전히 실패한 경우 DR이 아닙니다. (http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html)

   가장 좋은 방법은 오프 사이트 백업을 유지하는 것입니다. 다른 Hadoop 클러스터, S3 등이 될 수 있으며 distcp를 사용하여 수행 할 수 있습니다. (http://hadoop.apache.org/docs/stable1/distcp2.html), (https://wiki.apache.org/hadoop/AmazonS3)

   다음은 DR (http://www.slideshare.net/cloudera/hadoop-backup-and-disaster-recovery)을 논의하는 Cloudera의 Slideshare입니다.

2. ==============================

   2.Hadoop은 1000 개의 노드가있는 큰 클러스터에서 작동하도록 설계되었습니다. 데이터 손실 가능성은 적습니다. 복제 요소를 늘려 클러스터의 여러 노드에 데이터를 복제 할 수 있습니다.

   Hadoop은 1000 개의 노드가있는 큰 클러스터에서 작동하도록 설계되었습니다. 데이터 손실 가능성은 적습니다. 복제 요소를 늘려 클러스터의 여러 노드에 데이터를 복제 할 수 있습니다.

   데이터 복제 참조

   네임 노드 로그 백업의 경우 보조 namenode 또는 Hadoop 고 가용성을 사용할 수 있습니다.

   보조 의향

   Secondary namenode는 namenode 로그를 백업합니다. namenode가 실패하면 2 차 namenode에서 namenode 로그 (데이터 블록 정보를 보유하고 있음)를 복구 할 수 있습니다.

   고 가용성

   고 가용성은 클러스터에서 둘 이상의 namenode를 실행하는 새로운 기능입니다. 하나의 네임 노드가 활성화되고 다른 네임 노드가 대기 상태가됩니다. 로그는 두 namenode에 모두 저장됩니다. 한 namenode가 실패하면 다른 노드가 활성화되고 조작을 처리합니다.

   또한 대부분의 경우 백업 및 재해 복구를 고려해야합니다. @ brandon.bell 대답을 참조하십시오.

3. ==============================

   3.DR 사용 사례를 위해 DataTorrent에서 HDFS 동기화 응용 프로그램을 사용하여 한 HDFS 클러스터에서 다른 HDFS 클러스터로 많은 양의 데이터를 백업 할 수 있습니다.

   DR 사용 사례를 위해 DataTorrent에서 HDFS 동기화 응용 프로그램을 사용하여 한 HDFS 클러스터에서 다른 HDFS 클러스터로 많은 양의 데이터를 백업 할 수 있습니다.

   https://www.datatorrent.com/apphub/hdfs-sync/

   Apache Apex를 처리 엔진으로 사용합니다.

4. ==============================

   4.공식 설명서 웹 사이트 : HdfsUserGuide부터 시작하십시오.

   공식 설명서 웹 사이트 : HdfsUserGuide부터 시작하십시오.

   SE 게시물 아래에서보세요 :

   Hadoop 2.0 데이터 쓰기 작업 승인

   Hadoop : HDFS 파일 쓰기 및 읽기

   고 가용성을위한 Hadoop 2.0 이름 노드, 보조 노드 및 검사 점 노드

   Hadoop Namenode 장애 조치 프로세스는 어떻게 작동합니까?

   Recovery_Mode 관련 문서 페이지 :

   일반적으로 여러 메타 데이터 저장 위치를 ​​구성합니다. 그런 다음 하나의 저장 위치가 손상된 경우 다른 저장 위치 중 하나에서 메타 데이터를 읽을 수 있습니다.

   그러나 사용 가능한 유일한 저장 위치가 손상된 경우 어떻게 할 수 있습니까? 이 경우, 대부분의 데이터를 복구 할 수있는 복구 모드라는 특수한 NameNode 시작 모드가 있습니다.

from https://stackoverflow.com/questions/30234067/hadoop-backup-and-recovery-tool-and-guidance by cc-by-sa and MIT license