[HADOOP] Hdfs 파일에서 복제 요소 정보를 어떻게 검색합니까?

Hdfs 파일에서 복제 요소 정보를 어떻게 검색합니까?

다음과 같이 내 파일의 복제 요소를 설정했습니다.

hadoop fs -D dfs.replication=5 -copyFromLocal file.txt /user/xxxx

NameNode가 다시 시작될 때, Under-replicated 블록이 복제되는지 확인합니다. 따라서 파일에 대한 복제 정보가 저장됩니다 (nameNode에 가능). 어떻게 그 정보를 얻을 수 있습니까?

해결법

1. ==============================

   1.hadoop fs -stat % r / path / to / file 명령을 사용하려고하면 복제 요소가 인쇄됩니다.

   hadoop fs -stat % r / path / to / file 명령을 사용하려고하면 복제 요소가 인쇄됩니다.

2. ==============================

   2.다음 명령을 실행하여 복제 요소를 얻을 수 있습니다.

   다음 명령을 실행하여 복제 요소를 얻을 수 있습니다.

   hadoop fs -ls /user/xxxx
   

   출력의 두 번째 열은 아래 그림과 같이 파일 및 복제본에 대한 복제 요소를 나타냅니다.

3. ==============================

   3.Alexey Shestakov의 대답은 별개로, 완벽하게 작동하며 정확히 묻는 것을 수행합니다. 여기에서 주로 발견되는 다른 방법은 다음과 같습니다.

   Alexey Shestakov의 대답은 별개로, 완벽하게 작동하며 정확히 묻는 것을 수행합니다. 여기에서 주로 발견되는 다른 방법은 다음과 같습니다.

   hadoop dfs -ls /parent/path 
   

   두 번째 열에있는 모든 / parent / path 내용의 복제 요소를 보여줍니다.

   Java를 통해 다음 정보를 사용하여이 정보를 얻을 수 있습니다.

   FileStatus.getReplication()
   

   또한 다음을 사용하여 파일의 복제 요소를 볼 수 있습니다.

   hadoop fsck /filename -files -blocks -racks
   

   마침내 namenode의 웹 UI에서이 정보를 사용할 수 있다고 생각합니다 (확인하지 않았습니다).

4. ==============================

   4.다음 명령을 사용하여 파일의 복제를 확인할 수 있습니다.

   다음 명령을 사용하여 파일의 복제를 확인할 수 있습니다.

   hdfs dfs -ls  /user/cloudera/input.txt
   

   또는

   hdfs dfs -stat %r /user/cloudera/input.txt
   

from https://stackoverflow.com/questions/25166926/how-do-you-retrieve-the-replication-factor-info-in-hdfs-files by cc-by-sa and MIT license