[HADOOP] 하둡 복제 인자 혼란

하둡 복제 인자 혼란

hadoop 복제에 대한 3 가지 설정이 있습니다.

dfs.replication.max = 10
dfs.replication.min = 1
dfs.replication     = 2

따라서 dfs.replication은 hadoop 클라이언트가 "setrep"을 사용하여 수동으로 설정할 때까지 hadoop 클러스터에있는 파일의 기본 복제입니다. hadoop 클라이언트는 최대 복제를 dfs.replication.mx까지 설정할 수 있습니다.

dfs.replication.min은 두 가지 경우에 사용됩니다.

따라서 각 노드 (namenode + datanode) 또는 클라이언트 노드에서만 이러한 구성을 설정해야합니까?

위의 세 가지 설정에 대한 설정이 데이터 노드마다 다를 경우 어떻게해야합니까?

해결법

1. ==============================

   1.클러스터의 특정 노드에 대해 복제 팩터를 설정할 수 없으며 전체 클러스터 / 디렉토리 / 파일에 대해 복제 팩터를 설정할 수 있습니다. hdfs-sie.xml에서 클러스터를 실행하면 dfs.replication을 업데이트 할 수 있습니다.

   클러스터의 특정 노드에 대해 복제 팩터를 설정할 수 없으며 전체 클러스터 / 디렉토리 / 파일에 대해 복제 팩터를 설정할 수 있습니다. hdfs-sie.xml에서 클러스터를 실행하면 dfs.replication을 업데이트 할 수 있습니다.

   파일 hadoop dfs -setrep -w 파일 경로의 복제 요소 설정

   또는 디렉토리 또는 전체 클러스터에 대해 재귀 적으로 설정하십시오.-hadoop fs -setrep -R -w 1 /

   최소 및 최대 반복 계수 사용

from https://stackoverflow.com/questions/23799658/hadoop-replication-factor-confusion by cc-by-sa and MIT license