[HADOOP] HDFS : 파일 업로드 후 배포되지 않습니다

HDFS : 파일 업로드 후 배포되지 않습니다

나는 8 노드 클러스터에 하둡 (0.20.203.0rc1)를 배치했습니다. HDFS에 파일을 업로드 한 후 나는 단지 대신에 균일하게 모든 노드에 분산되는 노드 중 하나에서이 파일을 가지고있다. 무슨 문제가 될 수 있습니까?

$HADOOP_HOME/bin/hadoop dfs -copyFromLocal ../data/rmat-20.0 /user/frolo/input/rmat-20.0

$HADOOP_HOME/bin/hadoop dfs -stat "%b %o %r %n" /user/frolo/input/rmat-*
1220222968 67108864 1 rmat-20.0

$HADOOP_HOME/bin/hadoop dfsadmin -report 
Configured Capacity: 2536563998720 (2.31 TB)
Present Capacity: 1642543419392 (1.49 TB)
DFS Remaining: 1641312030720 (1.49 TB)
DFS Used: 1231388672 (1.15 GB)
DFS Used%: 0.07%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 8 (8 total, 0 dead)

Name: 10.10.1.15:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 131536928768 (122.5 GB)
DFS Remaining: 185533546496(172.79 GB)
DFS Used%: 0%
DFS Remaining%: 58.51%
Last contact: Fri Feb 07 12:10:27 MSK 2014


Name: 10.10.1.13:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 131533377536 (122.5 GB)
DFS Remaining: 185537097728(172.79 GB)
DFS Used%: 0%
DFS Remaining%: 58.52%
Last contact: Fri Feb 07 12:10:27 MSK 2014


Name: 10.10.1.17:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 120023924736 (111.78 GB)
DFS Remaining: 197046550528(183.51 GB)
DFS Used%: 0%
DFS Remaining%: 62.15%
Last contact: Fri Feb 07 12:10:27 MSK 2014


Name: 10.10.1.18:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 78510628864 (73.12 GB)
DFS Remaining: 238559846400(222.18 GB)
DFS Used%: 0%
DFS Remaining%: 75.24%
Last contact: Fri Feb 07 12:10:24 MSK 2014


Name: 10.10.1.14:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 131537530880 (122.5 GB)
DFS Remaining: 185532944384(172.79 GB)
DFS Used%: 0%
DFS Remaining%: 58.51%
Last contact: Fri Feb 07 12:10:27 MSK 2014


Name: 10.10.1.11:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 1231216640 (1.15 GB)
Non DFS Used: 84698116096 (78.88 GB)
DFS Remaining: 231141167104(215.27 GB)
DFS Used%: 0.39%
DFS Remaining%: 72.9%
Last contact: Fri Feb 07 12:10:24 MSK 2014


Name: 10.10.1.16:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 131537494016 (122.5 GB)
DFS Remaining: 185532981248(172.79 GB)
DFS Used%: 0%
DFS Remaining%: 58.51%
Last contact: Fri Feb 07 12:10:27 MSK 2014


Name: 10.10.1.12:50010
Decommission Status : Normal
Configured Capacity: 317070499840 (295.29 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 84642578432 (78.83 GB)
DFS Remaining: 232427896832(216.47 GB)
DFS Used%: 0%
DFS Remaining%: 73.3%
Last contact: Fri Feb 07 12:10:27 MSK 2014

해결법

1. ==============================

   1.당신의 하둡 FS -stat 명령 출력에 의해 입증 귀하의 파일은, 하나의 복제 요인으로 작성되었습니다. 이것은 단지 하나의 블록 복제 파일에서 블록에 존재하는 것을 의미합니다.

   당신의 하둡 FS -stat 명령 출력에 의해 입증 귀하의 파일은, 하나의 복제 요인으로 작성되었습니다. 이것은 단지 하나의 블록 복제 파일에서 블록에 존재하는 것을 의미합니다.

   쓰기의 기본 복제 인자는 $ HADOOP_HOME / conf의 / HDFS-site.xml 파일에서 속성 dfs.replication의 적용을받습니다. 그 아래 지정, 기본값은 3입니다,하지만 가능성이 경우에 당신은 그것의 재정의가 값이 3으로 다시 값을 변경 또는 전부를 제거 1입니다 (기본값을 호출 할) 수 있도록 모든 새 파일 3 복제본을 사용하여 글을 지정했는지 기본적으로.

   또한 같은 하둡 FS 유틸리티가 지원하는 -D 속성 전달 방법을 사용하여 각각의 쓰기 명령으로 특정 복제 요인을 통과 할 수 있습니다 :

   하둡 -Ddfs.replication FS = 3 -copyFromLocal ../data/rmat-20.0 /user/frolo/input/rmat-20.0

   그리고 당신은 같은 하둡 FS -setrep 유틸리티를 사용하여 기존 파일의 복제 요소를 변경할 수 있습니다 :

   하둡 FS -setrep 3 -w /user/frolo/input/rmat-20.0

   HDFS 복제 요인 1보다 큰 가진 파일이 자동으로 여러 노드에 분산 표시됩니다. HDFS는 동일한 데이터 노드에 블록 하나 이상의 복제본을 작성하지 않습니다.

from https://stackoverflow.com/questions/21622484/hdfs-file-is-not-distributed-after-upload by cc-by-sa and MIT license