[HADOOP] Hadoop에서 기존 파일의 블록 크기 변경

Hadoop에서 기존 파일의 블록 크기 변경

hdfs-site.xml에서 기본 블록 크기가 64MB 인 hadoop 클러스터를 고려하십시오. 그러나 나중에 팀에서이를 128MB로 변경하기로 결정했습니다. 위의 시나리오에 대한 질문은 다음과 같습니다.

해결법

1. ==============================

   1.이 등록 정보 변경 사항을 적용하려면 클러스터를 다시 시작해야합니다.

   이 등록 정보 변경 사항을 적용하려면 클러스터를 다시 시작해야합니다.

   기존 블록은 블록 크기를 변경하지 않습니다.

   기존 파일을 변경하려면 distcp를 사용할 수 있습니다. 새 블록 크기로 파일을 복사합니다. 그러나 이전 블록 크기의 이전 파일을 수동으로 삭제해야합니다. 다음은 사용할 수있는 명령입니다.

   hadoop distcp -Ddfs.block.size=XX /path/to/old/files /path/to/new/files/with/larger/block/sizes.
   

2. ==============================

   2.귀하의 요점에 대해 언급 한 바와 같이 :

   귀하의 요점에 대해 언급 한 바와 같이 :

   자세한 정보는 링크를 확인하십시오.

3. ==============================

   3.On point 1 - Hadoop 1.2.1에서 hdfs-site.xml 파일의 dfs.block.size를 변경 한 후에 다시 시작할 필요가 없습니다. 파일 블록 크기는 Hadoop 관리 페이지 (http : // namenode : 50070 / dfshealth.jsp)에서 쉽게 확인할 수 있습니다.

   On point 1 - Hadoop 1.2.1에서 hdfs-site.xml 파일의 dfs.block.size를 변경 한 후에 다시 시작할 필요가 없습니다. 파일 블록 크기는 Hadoop 관리 페이지 (http : // namenode : 50070 / dfshealth.jsp)에서 쉽게 확인할 수 있습니다.

   모든 데이터 노드에서 dfs.block.size를 변경하십시오.

from https://stackoverflow.com/questions/29604823/change-block-size-of-existing-files-in-hadoop by cc-by-sa and MIT license