[HADOOP] HDFS-site.xml 파일에 구성 등록 하둡 네임 노드에 적용합니까?

HDFS-site.xml 파일에 구성 등록 하둡 네임 노드에 적용합니까?

나는 최근 하둡 - 하나의 마스터와 두 노예에 대한 테스트 환경 클러스터를 설정합니다.

마스터는 데이터 노드가 아닙니다 (비록 마스터와 슬레이브 모두 같은 일부 사용 마스터 노드). 그래서 기본적으로 나는 2 개 데이타 노드가 있습니다. 복제의 기본 구성은 3입니다. 처음에, 나는 conf의 / HDFS-site.xml 파일에있는 모든 구성을 변경하지 않았다. 나는 오류는 0 노드 대신 1로 복제 할 수 얻고 있었다. 다음과 같이 그때 나는 내 마스터와 슬레이브 모두의 conf / HDFS-site.xml 파일에 설정을 변경 :

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

보라! 모든 것이 괜찮 았는데. 내 질문은 : 내 모든 데이타 노드와 NameNodes에서 HDFS-site.xml 파일을 변경하지만,이 구성은 네임 노드 또는 DatNode에 적용 않습니다.

나의 이해가 올 경우, 네임 노드는 데이타 노드의 블록을 할당합니다. 그래서 마스터 또는 네임 노드에서 복제 구성이 중요하고 아마 데이타 노드에 필요하지 않습니다. 이 올바른지?

내 작은 이해로부터 : 나는 하둡 프레임 워크에서 다른 XML의 실제 목적 혼란 스러워요 :

1) 코어를 site.xml - 같은 로그 파일을 이동해야하는 위치로 전체 프레임 워크에 대한 구성 매개 변수, 파일 시스템 등의 기본 이름은 무엇인가

2) HDFS-site.xml 파일은 - 개별 데이타 노드에 적용됩니다. 얼마나 많은 복제의 데이터 노드의 로컬 파일 시스템에서 데이터 디렉토리, 블록 등의 크기

3) mapred-site.xml 파일은 - 데이터 노드에 적용하고 작업 추적기에 대한 구성을 제공합니다.

이 잘못된 경우 수정하시기 바랍니다. 이러한 구성 파일이 아니라 내가 가진 튜토리얼에서 설명되지 않습니다. 그래서 그것은 기본적으로 이러한 파일로 내 모습에서 비롯됩니다.

해결법

1. ==============================

   1.이것은 나의 이해 내가 잘못 될 수있다.

   이것은 나의 이해 내가 잘못 될 수있다.

   {-site.xml의 HDFS} - (분산 파일 시스템 하둡) HDFS의 속성이다 {mapred-site.xml 파일은} - 맵리 듀스의 속성이다 {코어를 site.xml은} - HDFS와 맵리 듀스 모두를 만지지 다른 속성입니다

2. ==============================

   2.이것은 일반적으로 공간이 부족에 의해 발생합니다.

   이것은 일반적으로 공간이 부족에 의해 발생합니다.

   사용하여 잔여 율, 클러스터의 전체 용량을 확인하고 사용하시기 바랍니다

     hdfs dfsadmin -report
   

   이 값이 유지 용량보다 큰 경우 또한 HDFS-site.xml 파일에 dfs.datanode.du.reserved 확인

   다른 원인을 찾아 여기에 설명

from https://stackoverflow.com/questions/24416817/does-configuration-properties-on-hdfs-site-xml-applies-to-namenode-in-hadoop by cc-by-sa and MIT license