[HADOOP] 추가 기능이있는 HDFS는 어떻게 작동합니까?

추가 기능이있는 HDFS는 어떻게 작동합니까?

기본 블록 크기 (128MB)를 사용하고 있으며 130MB를 사용하는 파일이 있다고 가정합니다. 하나의 풀 사이즈 블록과 하나의 블록을 2 MB로 사용합니다. 그런 다음 20MB를 파일에 추가해야합니다 (총 150MB 필요). 무슨 일이야?

HDFS는 실제로 마지막 블록의 크기를 2MB에서 22MB로 조정합니까? 아니면 새로운 블록을 만드시겠습니까?

HDFS에서 파일에 추가하는 것은 동시성을 어떻게 처리합니까? 데이터가 손실 될 위험이 있습니까?

HDFS는 세 번째 블록을 생성하고 20 + 2MB를 넣고 2MB 블록을 삭제합니다. 그렇다면 어떻게 동시에 작동합니까?

해결법

1. ==============================

   1.이전에 언급 한 Jira 문제의 최신 설계 문서에 따르면 다음과 같은 질문에 대한 답을 찾을 수 있습니다.

   이전에 언급 한 Jira 문제의 최신 설계 문서에 따르면 다음과 같은 질문에 대한 답을 찾을 수 있습니다.

2. ==============================

   2.다음은 append에 대한 매우 포괄적 인 디자인 문서이며 동시성 문제를 포함합니다.

   다음은 append에 대한 매우 포괄적 인 디자인 문서이며 동시성 문제를 포함합니다.

   현재 HDFS 문서는 해당 문서에 대한 링크를 제공하므로 최근 문서로 간주 할 수 있습니다. (문서 일자는 2009 년)

   그리고 관련 문제.

3. ==============================

   3.Hadoop 분산 파일 시스템은 파일에 대한 추가 기능을 지원합니다.이 경우 20MB를 예제의 두 번째 블록 (처음에는 2MB가있는 블록)에 추가해야합니다. 그렇게하면 128MB와 22MB의 두 블록으로 끝납니다.

   Hadoop 분산 파일 시스템은 파일에 대한 추가 기능을 지원합니다.이 경우 20MB를 예제의 두 번째 블록 (처음에는 2MB가있는 블록)에 추가해야합니다. 그렇게하면 128MB와 22MB의 두 블록으로 끝납니다.

   이것은 HDFS 용 java docs에 대한 참조입니다.

from https://stackoverflow.com/questions/9162943/how-does-hdfs-with-append-works by cc-by-sa and MIT license