[HADOOP] dfs.blocksizeaffect 기존 데이터의 값을 변경합니까

dfs.blocksizeaffect 기존 데이터의 값을 변경합니까

내 하둡 버전은 2.5.2이다. 나는 마스터 노드에 HDFS-site.xml 파일 내 dfs.blocksize을 변경하고 있습니다. 나는 다음과 같은 질문이 있습니다 :

1)이 변화는 HDFS의 기존 데이터에 영향을 미칩니 까 2) 나는 그가 하둡 클러스터 또는 단지 네임 노드에서 노드 모두에이 변경 사항을 전달 될 필요 충분하면됩니다

해결법

1. ==============================

   1.모든 노예의 HDFS-site.xml의 변화는 ... dfs.block 크기가 모든 데이타 노드 전체의 일관성이 있어야하고해야합니다.

   모든 노예의 HDFS-site.xml의 변화는 ... dfs.block 크기가 모든 데이타 노드 전체의 일관성이 있어야하고해야합니다.

2. ==============================

   2.아니,하지 않습니다. 그것은 이전 파일에 기존의 블록 크기를 유지합니다. 이 새로운 블록 변경을하기 위해서는, 당신은 데이터를 다시 작성해야합니다. 당신은 하둡 FS의 -cp 또는 데이터에 대한 distcp을 할 수 있습니다. 새로운 사본은 새로운 블록의 크기를해야합니다 그리고 당신은 당신의 오래된 데이터를 삭제할 수 있습니다.

   아니,하지 않습니다. 그것은 이전 파일에 기존의 블록 크기를 유지합니다. 이 새로운 블록 변경을하기 위해서는, 당신은 데이터를 다시 작성해야합니다. 당신은 하둡 FS의 -cp 또는 데이터에 대한 distcp을 할 수 있습니다. 새로운 사본은 새로운 블록의 크기를해야합니다 그리고 당신은 당신의 오래된 데이터를 삭제할 수 있습니다.

   2) 나는 그가 하둡 클러스터 또는 단지 네임 노드가 충분한에 노드 모두에이 변경 사항을 전파해야합니까?

   당신은 네임 노드를 변경해야이 경우 믿습니다. 그러나 이것은 아주 아주 나쁜 생각입니다. 당신은 좋은 이유로 동기화 구성 파일을 모두 유지해야합니다. 당신이 당신의 하둡 배포에 대한 더 심각한 얻을 때, 당신은 아마 당신의 CONFIGS를 관리하는 인형이나 요리사 같은 것을 사용하기 시작한다.

   또한,이 구성을 변경할 때마다, 당신은 그들의 동작을 변경하기 위해 네임 노드와 DataNode에서를 다시 시작해야 있습니다.

   재미있는 참고 : 기본 블록 크기를 덮어을 쓰기로 개별 파일의 블록 크기를 설정할 수 있습니다. 예컨대, FS 하둡 -D fs.local.block.size = 134,217,728 저것 집어 넣어 A B

3. ==============================

   3.HDFS-site.xml 파일의 블록 크기를 ochanging 만 새로운 데이터에 영향을 미칠 것입니다.

   HDFS-site.xml 파일의 블록 크기를 ochanging 만 새로운 데이터에 영향을 미칠 것입니다.

4. ==============================

   4.당신이 아파치 distribution..easiest 방법을 사용하고 내가 찾을 수있는 것 같습니다 질문을보고하여 어떤 사용중인 유통 ... 처음처럼 노예 HDFS-site.xml 파일을 삭제하는 쉘 스크립트를 작성하다

   당신이 아파치 distribution..easiest 방법을 사용하고 내가 찾을 수있는 것 같습니다 질문을보고하여 어떤 사용중인 유통 ... 처음처럼 노예 HDFS-site.xml 파일을 삭제하는 쉘 스크립트를 작성하다

   ssh를 username@domain.com '은 rm /some/hadoop/conf/hdfs-site.xml' ssh를 username@domain2.com 'RM은 /some/hadoop/conf/hdfs-site.xml' ssh를 username@domain3.com 'RM은 /some/hadoop/conf/hdfs-site.xml'

   나중에 모든 슬레이브에 마스터에서 HDFS-site.xml 파일을 복사

   SCP /hadoop/conf/hdfs-site.xml username@domain.com : / 하둡 / conf의 / SCP /hadoop/conf/hdfs-site.xml username@domain2.com : / 하둡 / conf의 / SCP /hadoop/conf/hdfs-site.xml username@domain3.com : / 하둡 / conf의 /

from https://stackoverflow.com/questions/28586401/does-changing-the-value-of-dfs-blocksizeaffect-existing-data by cc-by-sa and MIT license