[HADOOP] HDFS를 지운 후에도 여전히 사용 된 블록 풀을 표시하는 일부 데이터 노드

HDFS를 지운 후에도 여전히 사용 된 블록 풀을 표시하는 일부 데이터 노드

하둡 버전 : 2.7.3 데이터 노드 : 32 블록 크기 : 512m 복제 : 3

명령을 사용하여 HDFS의 모든 데이터를 지 웠습니다. hdfs dfs -rm -r / *

HDFS 클러스터를 지운 후에도 블록이 0이지만 여전히 사용 된 블록 풀을 표시하는 데이터 노드는 거의 없습니다.

hdfs webui의 스크린 샷

hdfs fsck /의 출력은 다음과 같습니다

Connecting to namenode via http://ip-10-0-2-7:50070/fsck?ugi=ubuntu&path=%2F
FSCK started by ubuntu (auth:SIMPLE) from /10.0.2.7 for path / at Tue Jul 18 04:34:19 UTC 2017
Status: HEALTHY
 Total size:    0 B
 Total dirs:    1
 Total files:   0
 Total symlinks:        0
 Total blocks (validated):  0
 Minimally replicated blocks:   0
 Over-replicated blocks:    0
 Under-replicated blocks:   0
 Mis-replicated blocks:     0
 Default replication factor:    3
 Average block replication: 0.0
 Corrupt blocks:        0
 Missing replicas:      0
 Number of data-nodes:      32
 Number of racks:       1
FSCK ended at Tue Jul 18 04:34:19 UTC 2017 in 1 milliseconds
The filesystem under path '/' is HEALTHY

블록 삭제가 비동기 프로세스라는 것을 알고 있지만 블록 풀 사용이 설정된 데이터 노드가 0으로 설정되지 않아 블록을 해제하는 데 많은 시간이 걸립니다. 아무도 내가 그 서버에서 왜 블록 삭제가 느린 지 또는 블록이 사용되는 다른 문제를 알아내는 데 도움을 줄 수 있습니까?

해결법

1. ==============================

   1.이에 대한 몇 가지 잠재적 인 원인이 있습니다.

   이에 대한 몇 가지 잠재적 인 원인이 있습니다.

from https://stackoverflow.com/questions/45157724/some-datanodes-still-showing-block-pool-used-after-clearing-the-hdfs by cc-by-sa and MIT license