복붙노트

[HADOOP] HDFS가 파일을 기본적으로 로컬에 저장하는 곳은 어디입니까?

HADOOP

HDFS가 파일을 기본적으로 로컬에 저장하는 곳은 어디입니까?

나는 하나의 노드 클러스터를 가진 기본 설정으로 hadoop을 실행 중이고 HDFS가 파일을 로컬에 저장하는 위치를 찾고 싶다.

어떤 아이디어?

감사.

해결법

  1. ==============================

    1.dfs.data.dir 설정에 대해서는 hdfs-default.xml 구성 파일을 조사해야합니다. 기본 설정은 $ {hadoop.tmp.dir} / dfs / data이며 $ {hadoop.tmp.dir}은 실제로 여기에 설명 된 core-default.xml에 있습니다.

    dfs.data.dir 설정에 대해서는 hdfs-default.xml 구성 파일을 조사해야합니다. 기본 설정은 $ {hadoop.tmp.dir} / dfs / data이며 $ {hadoop.tmp.dir}은 실제로 여기에 설명 된 core-default.xml에 있습니다.

    구성 옵션은 여기에 설명되어 있습니다. 이 설정에 대한 설명은 다음과 같습니다.

  2. ==============================

    2.현재 버전 (2.7.1)과 같습니다.

    현재 버전 (2.7.1)과 같습니다.

    /tmp/hadoop-${user.name}/dfs/data
    

    dfs.datanode.data.dir, hadoop.tmp.dir 설정 기준 : http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml

  3. ==============================

    3."더 최근의 대답"과 hadoop 버전 번호를 명확히하기 위해 :

    "더 최근의 대답"과 hadoop 버전 번호를 명확히하기 위해 :

    Hadoop 1.2.1 (또는 비슷한 것)을 사용하면 @Binary Nerd의 대답은 여전히 ​​사실입니다.

    그러나 Hadoop 2.1.0-beta (또는 비슷하게)를 사용한다면 여기에서 설정 문서를 읽고 설정하고자하는 옵션은 다음과 같다 : dfs.datanode.data.dir

  4. ==============================

    4.hadoop 3.0.0의 경우, hdfs 루트 경로는 "dfs.datanode.data.dir"속성에 의해 주어진다.

    hadoop 3.0.0의 경우, hdfs 루트 경로는 "dfs.datanode.data.dir"속성에 의해 주어진다.

  5. ==============================

    5.cmd 프롬프트에서이를 실행하면 HDFS 위치가 표시됩니다.

    cmd 프롬프트에서이를 실행하면 HDFS 위치가 표시됩니다.

    bin/hadoop fs -ls /
    
  6. from https://stackoverflow.com/questions/2358402/where-hdfs-stores-files-locally-by-default by cc-by-sa and MIT license