[HADOOP] Hadoop 파일 쓰기

Hadoop 파일 쓰기

Tom White의 책 Hadoop 최종 가이드를 참조하십시오 ..... 내 질문 (복제 인자 3을 가정하고 데이터가 노드 D1, D2, D3에 기록됨) 만약 내가 올바르게 이해한다면, 첫 번째 위치 D1에 글쓰기가 실패하면 .... 새로운 파이프 라인이있는 전체 프로세스가 시작됩니다 ... 두 번째 노드 D2에 쓰기가 실패하면 어떻게됩니까? .. "ack 대기열에있는 모든 패킷이 데이터 대기열 앞에 추가되어 실패한 노드의 다운 스트림에있는 데이터 노드가 패킷을 놓치지 않습니다"라고 말하고 좋은 데이터 노드의 현재 블록에 새로운 데이터 노드가 제공됩니다 정체.. 나는이 시점에서 명확하지 않다 ...

해결법

1. ==============================

   1.두 명이 당신의 질문에 답하고, 한 점을 강조하고 싶습니다. 클라이언트 (HDFS 클라이언트)가 읽기 또는 쓰기 작업을 시작했습니다.

   두 명이 당신의 질문에 답하고, 한 점을 강조하고 싶습니다. 클라이언트 (HDFS 클라이언트)가 읽기 또는 쓰기 작업을 시작했습니다.

   이 도표를보십시오.

   전체 프로세스에서 클라이언트는 NameNode를 통하지 않고 직접 데이터 노드에서 읽고 쓰는 중입니다. NameNode는 읽기 또는 쓰기 작업을 위해 연결할 데이터 노드 목록을 전송합니다.

   귀하의 질문에 다시 오면,

   이 줄 뒤에는 아래 줄이 있습니다.

   위의 요점은 귀하의 첫 번째 질문에 대한 답변입니다 : 1. 새로운 정체성 차단

   문제가되는 데이터 노드에 부분 데이터 만 기록되므로이 데이터 블록을 완전히 제거해야합니다. 책의 다음 줄에 같은 설명이있었습니다.

from https://stackoverflow.com/questions/34464187/hadoop-file-write by cc-by-sa and MIT license