[HADOOP] 어떻게 HDFS 블록의 크기를 관리합니까?

어떻게 HDFS 블록의 크기를 관리합니까?

내 파일 크기는 내 파일에 얼마나 많은 64메가바이트 블록을 할당됩니다 65메가바이트 및 기본 HDFS 블록 크기 (64메가바이트)인가?

그것은 1~64메가바이트 블록, 1-1메가바이트 블록 또는 2-64메가바이트 블록처럼인가? 그것은 2-64메가바이트 블록이는 63메가바이트의 나머지를 낭비하려고하거나 다른 파일에 할당 될 경우?

해결법

1. ==============================

   1.블록 크기는 64MB의 블록에 대한 상한의 크기를 의미한다. 그것은 64메가바이트가 64MB의 소비 것보다 해당 파일 블록이 적은 것을 의미하지 않는다. 그것은 1메가바이트의 덩어리를 저장하기 위해 64MB의 소비하지 않습니다.

   블록 크기는 64MB의 블록에 대한 상한의 크기를 의미한다. 그것은 64메가바이트가 64MB의 소비 것보다 해당 파일 블록이 적은 것을 의미하지 않는다. 그것은 1메가바이트의 덩어리를 저장하기 위해 64MB의 소비하지 않습니다.

   파일 160 메가 바이트 경우,

   도움이 되었기를 바랍니다.

2. ==============================

   2.이 페이지에 따르면. 그것은 하나 개의 64메가바이트 블록과 하나 개 1메가바이트 블록 수있을 것 같은데.

   이 페이지에 따르면. 그것은 하나 개의 64메가바이트 블록과 하나 개 1메가바이트 블록 수있을 것 같은데.

3. ==============================

   3.답은 2 개 블록, 하나 64메가바이트 및 기타 1MB의입니다.

   답은 2 개 블록, 하나 64메가바이트 및 기타 1MB의입니다.

   단지 다른 파일 시스템과 같은 HDFS 블록으로 파일을 분할 한 후 디스크에 그 블록을 저장합니다.

   그러나 그들 사이에 두 가지 중요한 차이점이 있습니다 :

   따라서, 더 큰 블록 사이즈에 사용 HDFS.

   즉, 네임 노드는 65메가바이트 기록 두 블록이되지만 실제 파일 시스템 공간은 65메가바이트입니다이다.

from https://stackoverflow.com/questions/34437853/how-does-hdfs-manage-block-size by cc-by-sa and MIT license