[HADOOP] HDFS 복제 계수

HDFS 복제 계수

HDFS에 파일을 업로드 할 때 복제 계수를 1로 설정하면 파일 분할이 하나의 단일 시스템에 있거나 분할이 네트워크의 여러 시스템에 분산됩니다.

hadoop fs -D dfs.replication=1 -copyFromLocal file.txt /user/ablimit

해결법

1. ==============================

   1.Hadoop : Definitive Guide에 따르면

   Hadoop : Definitive Guide에 따르면

   이 논리는 다른 노드 사이의 네트워크 채터를 줄이면 의미가 있습니다. 그러나이 책은 2009 년에 출간되었으며 Hadoop 프레임 워크에 많은 변화가있었습니다.

   나는 이것이 클라이언트가 Hadoop 노드와 같은지 아닌지에 달려 있다고 생각한다. 클라이언트가 Hadoop 노드 인 경우 모든 분할은 동일한 노드에 있습니다. 이는 클러스터에 여러 개의 노드가 있더라도 더 나은 읽기 / 쓰기 처리량을 제공하지 않습니다. 클라이언트가 Hadoop 노드와 같지 않은 경우 각 분할에 대해 임의로 노드가 선택되므로 분할은 클러스터의 노드에 분산됩니다. 이제는 읽기 / 쓰기 처리량이 향상되었습니다.

   여러 노드에 쓰기의 한 가지 이점은 노드 중 하나가 작동 중지 되더라도 두 개의 분할이 작동하지 않지만 나머지 분할에서 일부 데이터는 어떻게 든 복구 될 수 있다는 것입니다.

2. ==============================

   2.복제를 1로 설정하면 파일은 클라이언트 노드, 즉 파일을 업로드하는 노드에만 나타납니다.

   복제를 1로 설정하면 파일은 클라이언트 노드, 즉 파일을 업로드하는 노드에만 나타납니다.

3. ==============================

   3.HDFS 복제 요소는 데이터 사본을 만드는 데 사용됩니다 (예 : 복제 자 인수가 2 인 경우 HDFS에 업로드하는 모든 데이터에 사본이 있음).

   HDFS 복제 요소는 데이터 사본을 만드는 데 사용됩니다 (예 : 복제 자 인수가 2 인 경우 HDFS에 업로드하는 모든 데이터에 사본이 있음).

4. ==============================

   4.복제 인수를 1로 설정하면 단일 노드 클러스터를 의미합니다. 클라이언트 노드는 하나뿐입니다. http://commandstech.com/replication-factor-in-hadoop/. 파일을 업로드 할 수있는 곳에서 단일 노드 또는 클라이언트 노드에서 사용하십시오.

   복제 인수를 1로 설정하면 단일 노드 클러스터를 의미합니다. 클라이언트 노드는 하나뿐입니다. http://commandstech.com/replication-factor-in-hadoop/. 파일을 업로드 할 수있는 곳에서 단일 노드 또는 클라이언트 노드에서 사용하십시오.

from https://stackoverflow.com/questions/7630787/hdfs-replication-factor by cc-by-sa and MIT license