[HADOOP] HDFS 나는 가용성을 높이기 위해 파일 당 복제 요소를 지정할 수 있습니다

HDFS 나는 가용성을 높이기 위해 파일 당 복제 요소를 지정할 수 있습니다

내 질문이 너무 순진 경우 나는, 정말 미안 HDFS에서 초보자입니다.

우리는 하둡 클러스터에 파일을 저장하자. 일부 파일은 정말 인기가 있고, 다른 것보다 자주 요청 될 것이다 (그러나 너무 자주 메모리에 넣어). 그것은 가치가 그 파일의 많은 복사본 (복제본)을 유지합니다.

나는 HDFS에서 그것을 구현하거나이 작업을 해결하기 위해 어떤 모범 사례가 수 있습니까?

해결법

1. ==============================

   1.예, 당신은 개별적으로 전체 클러스터 / 디렉토리 / 파일에 대한 그것을 할 수 있습니다.

   예, 당신은 개별적으로 전체 클러스터 / 디렉토리 / 파일에 대한 그것을 할 수 있습니다.

   당신은 하둡 FS 쉘을 사용하여 파일 단위로 (3 말할 수) 복제 계수를 변경할 수 있습니다.

   [sys@localhost ~]$ hadoop fs –setrep –w 3 /my/file
   

   다른 방법으로, 복제 계수를 변경할 수있는 디렉토리에있는 모든 파일 (3 말할 수 있습니다).

   [sys@localhost ~]$ hadoop fs –setrep –w 3 -R /my/dir
   

   1 전체 HDFS의 복제를 변경하려면 :

   [sys@localhost ~]$ hadoop fs -setrep -w 1 -R /
   

   그러나 복제 요인은 dfs.replication.max 및 dfs.replication.min 값 사이에 거짓말을한다.

from https://stackoverflow.com/questions/37111653/hdfs-can-i-specify-replication-factor-per-file-to-increase-avaliability by cc-by-sa and MIT license