복붙노트

[HADOOP] Hadoop 2.2.0의 HDFS 구성 파일은 어디에 있습니까?

HADOOP

Hadoop 2.2.0의 HDFS 구성 파일은 어디에 있습니까?

Hadoop을 연구 중이며 현재 Hadoop 2.2.0 단일 노드를 설정하려고합니다. 최신 배포판을 다운로드하고 압축을 풀었습니다. 이제 Hadoop Distributed File System (HDFS)을 설정하려고합니다.

자, 여기에서 사용할 수있는 Hadoop 지침을 따르려고하고 있지만, 나는 아주 길어요.

왼쪽 막대에는 다음 파일에 대한 참조가 있습니다.

그러나 그 파일들은 어떻게되어 있습니까?

/etc/hadoop/hdfs-site.xml을 찾았지만 비어 있습니다!

나는 /share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml 파일을 찾았지만 문서 일뿐입니다!

그렇다면 HDFS를 구성하기 위해 수정해야하는 파일은 무엇입니까? 정의 값은 어디에서 읽습니까?

도와 주셔서 미리 감사드립니다.

해결법

  1. ==============================

    1.이 파일들은 모두 hadoop / conf 디렉토리에 있습니다.

    이 파일들은 모두 hadoop / conf 디렉토리에 있습니다.

    HDFS를 설정하려면 core-site.xml 및 hdfs-site.xml을 구성해야합니다.

    HDFS는 분산 (다중 노드 클러스터) 및 의사 분산 (단일 시스템의 클러스터)의 두 가지 모드로 작동합니다.

    가상 분산 모드의 경우 다음을 구성해야합니다.

    core-site.xml에서 :

    <!-- namenode -->
    <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:8020</value>
    </property>
    

    hdfs-site.xml에서 :

    <-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/your-dir/</value>
    </property>
    

    각 속성에는 하드 코딩 된 기본값이 있습니다.

    HDFS를 시작하기 전에 hadoop 사용자를 위해 ssh 암호가 필요없는 로그인을 설정하십시오.

    추신

    Apache에서 Hadoop을 다운로드하면 Hadoop 배포로 전환하는 것을 고려할 수 있습니다.

    Cloudera의 CDH, HortonWorks 또는 MapR.

    Cloudera CDH 또는 Hortonworks HDP를 설치하면 / etc / hadoop / conf /에 파일이 있습니다.

  2. ==============================

    2.Hadoop 2.2.0 설치의 경우이 링크를 클릭하십시오. "0.23.9"용이지만 "2.2.0"에서는 절대적으로 작동합니다.

    Hadoop 2.2.0 설치의 경우이 링크를 클릭하십시오. "0.23.9"용이지만 "2.2.0"에서는 절대적으로 작동합니다.

  3. ==============================

    3.모든 구성 파일은 etc / hadoop / 디렉토리의 추출 된 tar.gz 파일에 있습니다. hdfs-site.xml은 hdfs-site.xml.template 일 수 있습니다. hdfs-site.xml로 이름을 바꿔야합니다.

    모든 구성 파일은 etc / hadoop / 디렉토리의 추출 된 tar.gz 파일에 있습니다. hdfs-site.xml은 hdfs-site.xml.template 일 수 있습니다. hdfs-site.xml로 이름을 바꿔야합니다.

    hdfs에 대한 옵션을 보려면 share / doc / hadoop / hadoop-project-dist / hadoop-hdfs / hdfs-default.xml의 tarball에있는 문서를 확인하십시오.

  4. ==============================

    4.

    /etc/hadoop/conf/hdfs-site.xml
    
  5. ==============================

    5.이 파일들은 여기 /usr/lib/hadoop-2.2.0/etc/hadoop에서 찾을 수 있습니다. 그 위치에서 u는 모든 XML을 찾을 수 있습니다.

    이 파일들은 여기 /usr/lib/hadoop-2.2.0/etc/hadoop에서 찾을 수 있습니다. 그 위치에서 u는 모든 XML을 찾을 수 있습니다.

  6. from https://stackoverflow.com/questions/21370086/where-is-the-configuration-file-for-hdfs-in-hadoop-2-2-0 by cc-by-sa and MIT license