[HADOOP] HDFS의 블록 배치 전략 수정

HDFS의 블록 배치 전략 수정

내 응용 프로그램에 맞게 HDFS의 기본 블록 배치 전략을 수정하고 싶습니다. 예를 들어, file1 (128MB)과 file2 (128MB)라는 두 개의 파일이 있습니다. 블록 크기가 64MB 인 경우 각 파일은 두 개의 블록으로 분할됩니다. 나는 file1과 file2의 block1이 같은 datanode에 위치하도록하고 싶다. 가능하다면 복제본이 동일한 datanode 집합에도 배치되어 있는지 확인하고 싶습니다. 질문 1. 이것이 가능한가? 그렇다면 소스 코드에서 어떤 클래스를 수정해야합니까? 질문 2. copyFromLocal과 같은 명령은 hadoop 소스 코드의 함수에 어떻게 매핑됩니까?

해결법

1. ==============================

   1.블록 배치 정책의 기본 동작은 BlockPlacementPolicy 인터페이스를 확장하고 클래스를 Hadoop 구성 파일의 dfs.block.replicator.classname 특성으로 지정하여 수정할 수 있습니다.

   블록 배치 정책의 기본 동작은 BlockPlacementPolicy 인터페이스를 확장하고 클래스를 Hadoop 구성 파일의 dfs.block.replicator.classname 특성으로 지정하여 수정할 수 있습니다.

   Hadoop 작업은 특정 노드에 연결되어 있지 않으므로 분산 컴퓨팅의 고유 한 문제에 대한 Hadoop의 복원력이 향상됩니다. 특정 노드에서 두 파일에 대한 블록을 갖는 요구 사항은 무엇입니까? 요구 사항이 알려지면 더 나은 해결책을 찾을 수 있습니다.

from https://stackoverflow.com/questions/14494179/modifying-the-block-placement-strategy-of-hdfs by cc-by-sa and MIT license