[HADOOP] Hadoop 데이터 노드, namenode, 보조 namenode, 작업 추적기 및 작업 추적기

Hadoop 데이터 노드, namenode, 보조 namenode, 작업 추적기 및 작업 추적기

나는 약간의 의심을 품기 위해 새 것이었다. 마스터 노드가 실패하면 hadoop 클러스터가 어떻게 되었습니까? 손실없이 노드를 복구 할 수 있습니까? 현재 마스터 노드가 실패 할 때 보조 마스터 노드를 자동으로 마스터로 전환 할 수 있습니까?

우리는 namenode (Secondary namenode)의 백업을 가지고 있기 때문에 실패 할 때 Secondary namenode에서 namenode를 복구 할 수 있습니다. 이와 같이 데이터 노드가 실패 할 때 어떻게 데이터를 데이터 노드에 복원 할 수 있습니까? 보조 namenode는 datenode가 아닌 namenode의 백업입니다. 노드가 작업 완료 전에 장애가 발생하여 작업 추적기에 작업이 보류중인 경우 해당 작업이 사용 가능한 노드의 첫 번째 작업을 계속하거나 재시작합니까?

어떤 일이 발생하면 어떻게 전체 클러스터 데이터를 복구 할 수 있습니까?

그리고 마지막으로 Mapreduce에서 C 프로그램을 사용할 수 있습니까 (예 : mapreduce에서 Bubble 정렬)?

미리 감사드립니다.

해결법

1. ==============================

   1.그래도 질문에 대답하기에는 너무 늦었지만 다른 사람들에게 도움이 될 수는 있습니다.

   그래도 질문에 대답하기에는 너무 늦었지만 다른 사람들에게 도움이 될 수는 있습니다.

   우선 Secondary Name Node를 소개하겠습니다.

   이제 너의 관심사로 간다.

   나는 단지 시험을 보냈다. 희망은 다른 사람들뿐만 아니라 당신을 도울 것입니다.

   * 제안 / 개선을 환영합니다. *

2. ==============================

   2.현재 hadoop 클러스터에는 namenode라는 단일 실패 지점이 있습니다.

   현재 hadoop 클러스터에는 namenode라는 단일 실패 지점이 있습니다.

   그리고 아파치 wiki에서 보조 노드 isssue에 대해 :

   이 단일 실패 지점을 극복하는 까다로운 방법이 있습니다. 클로다 (cloudera) 분포를 사용한다면 여기에서 설명하는 방법 중 하나를 사용하십시오. Mapr 배포에는이 spof를 처리하는 다른 방법이 있습니다.

   마지막으로, 모든 단일 프로그래밍 언어를 사용하여 하프 스트리밍을 통해 맵 축소를 작성할 수 있습니다.

3. ==============================

   3.하지만 질문에 대답하기에는 너무 늦었지만 다른 사람들에게 도움이 될 수 있습니다. 먼저 Hadoop 1.X 데몬의 역할과 문제를 논의 할 것입니다.

   하지만 질문에 대답하기에는 너무 늦었지만 다른 사람들에게 도움이 될 수 있습니다. 먼저 Hadoop 1.X 데몬의 역할과 문제를 논의 할 것입니다.

   1. 보조 이름의 역할은 무엇입니까? 정확히 백업 노드가 아닙니다. 편집 로그를 읽고 이름 노드에 대해 갱신 된 fsimage 파일을 주기적으로 생성합니다. 이름 노드에서 주기적으로 메타 데이터를 가져 와서 유지하고 이름 노드가 실패 할 때 사용합니다. 2. 이름 노드의 역할은 무엇입니까? 그것은 모든 데몬의 관리자입니다. 마스터 노드에서 실행되는 마스터 jvm proceess. 데이터 노드와 상호 작용합니다.

   3. 직업 추적자의 역할은 무엇입니까? 작업을 받아들이고 데이터 노드에서 처리하기 위해 작업 추적기에 배포합니다. 맵 프로세스라고하는

   4. 작업 추적자의 역할은 무엇입니까? 데이터 노드에서 기존 데이터를 처리하기 위해 제공되는 프로그램을 실행합니다. 이 프로세스를 맵이라고합니다.

   hadoop 1.X의 한계

   솔루션 단일 실패 지점에 대한 솔루션은 고 가용성을 제공하는 hadoop 2.X입니다.

   hadoop 2.X를 사용한 고 가용성

   지금 당신의 주제 ....

   어떤 일이 발생하면 어떻게 전체 클러스터 데이터를 복구 할 수 있습니까? 클러스터가 실패하면 다시 시작할 수 있습니다.

   노드가 작업 완료 전에 장애가 발생하여 작업 추적기에 작업이 보류중인 경우 해당 작업이 사용 가능한 노드의 첫 번째 작업을 계속하거나 재시작합니까? 우리는 관리자에게 그가 얼마나 많은 복제본을 설정했는지에 따라 고 가용성을 얻기 위해 데이터의 기본 3 복제본 (블록을 ​​의미 함)을 갖습니다 ... 그래서 작업 추적자는 다른 데이터 노드의 다른 데이터 사본을 계속 사용합니다

   Mapreduce에서 C 프로그램을 사용할 수 있습니까 (예 : mapreduce에서 Bubble 정렬)? 기본적으로 mapreduce는 분산 된 매너 (저장 및 처리)에서 큰 데이터 문제를 해결하거나 처리 할 실행 엔진입니다. 우리는 파일 처리 및 mapreduce 프로그래밍을 사용하는 다른 모든 기본 작업을 수행하므로 요구 사항에 따라 파일을 처리 할 수있는 언어를 사용할 수 있습니다.

   hadoop 1.X 아키텍처 hadoop 1.x에는 4 개의 기본 데몬이 있습니다.

   나는 단지 시험을 보냈다. 희망은 다른 사람들뿐만 아니라 당신을 도울 것입니다.

   제안 / 개선을 환영합니다.

from https://stackoverflow.com/questions/7817391/hadoop-datanode-namenode-secondary-namenode-job-tracker-and-task-tracker by cc-by-sa and MIT license