[HADOOP] HDFS가 데이터를 저장하는 곳

HDFS가 데이터를 저장하는 곳

내가 hadoop가 HDFS에 데이터를 저장하는 위치를 이해하려고합니다. 나는 config 파일 즉, core-site.xml과 hdfs-site.xml을 참조한다.

내가 설정 한 속성은 다음과 같습니다.

dfs.datanode.data.dir과 같은 위의 배열을 사용하면 데이터 블록을이 디렉토리에 저장해야합니다. 이 올바른지?

나는 아파치와 함께 링크를 언급했고, 이것으로부터 나는 이것을 보았다.

dfs.datanode.data.dir (hdfs-site.xml)의 값을 명시 적으로 제공했기 때문에 데이터가 해당 위치에 저장된다는 의미입니까? 그렇다면 dfs / data가 $ {dfs.datanode.data.dir} 디렉토리에 추가됩니다. 특히,> - / hadoop / hdfs / datanode / dfs / data가됩니까?

그러나 나는이 디렉토리 구조가 생성되는 것을 보지 못했습니다.

내 env에서 본 한 가지 관찰 :

나는 MapReduce 프로그램을 실행 한 후에이 디렉토리가 생성된다는 것을 알았다. / hadoop / tmp / dfs / data가 생성됩니다.

따라서 dfs.datanode.data.dir 속성에서 제안한 것처럼 데이터가 디렉토리에 저장되는지 확실하지 않습니다.

비슷한 경험을 가진 사람이 있습니까?

해결법

1. ==============================

   1.hdfs 파일의 데이터는 dfs.datanode.data.dir에 지정된 디렉토리에 저장되며 기본값에 표시되는 / dfs / data 접미어는 추가되지 않습니다.

   hdfs 파일의 데이터는 dfs.datanode.data.dir에 지정된 디렉토리에 저장되며 기본값에 표시되는 / dfs / data 접미어는 추가되지 않습니다.

   hdfs-site.xml을 편집하는 경우 변경 사항을 적용하려면 DataNode 서비스를 다시 시작해야합니다. 또한 값을 변경하면 DataNode 서비스가 이전 위치에 저장된 블록을 제공 할 수 없게됩니다.

   마지막으로 file : // 대신 file : / ...로 지정된 값이 위에 있습니다. 파일 URI에는 이러한 슬래시가 필요하므로이 값이 기본값으로 되돌아 갈 수 있습니다.

from https://stackoverflow.com/questions/22565200/where-hdfs-stores-data by cc-by-sa and MIT license