[HADOOP] Hadoop 파일 단위 블록 크기

Hadoop 파일 단위 블록 크기

Hadoop 책에서는 파일 생성시 파일 단위 블록 크기를 지정할 수 있다고합니다.

"분할 크기를 늘리는 가장 자연스러운 방법은 HDFS에서 dfs.block.size를 설정하거나 파일 구성시 파일 단위로 더 큰 블록을 만드는 것입니다."

파일 작성시 어떻게하는지 모든 아이디어. 이 값을 value = file-size로 설정하면 파일이 분할되지 않기를 바랍니다.

해결법

1. ==============================

   1.당신은 CLI를 사용할 수 있습니다 :

   당신은 CLI를 사용할 수 있습니다 :

   hadoop fs -D dfs.block.size=file-size -put local_name remote_location
   

   또는 파일을 작성하거나 복사 할 때 Java API를 사용하여 dfs.block.size를 지정할 수 있습니다.

   Configuration conf = new Configuration();
   conf.setInt("dfs.block.size",file-size);
   

from https://stackoverflow.com/questions/9171906/hadoop-per-file-block-size by cc-by-sa and MIT license