[HADOOP] HDFS가 파일을 기본적으로 로컬에 저장하는 곳은 어디입니까?
HADOOPHDFS가 파일을 기본적으로 로컬에 저장하는 곳은 어디입니까?
나는 하나의 노드 클러스터를 가진 기본 설정으로 hadoop을 실행 중이고 HDFS가 파일을 로컬에 저장하는 위치를 찾고 싶다.
어떤 아이디어?
감사.
해결법
-
==============================
1.dfs.data.dir 설정에 대해서는 hdfs-default.xml 구성 파일을 조사해야합니다. 기본 설정은 $ {hadoop.tmp.dir} / dfs / data이며 $ {hadoop.tmp.dir}은 실제로 여기에 설명 된 core-default.xml에 있습니다.
dfs.data.dir 설정에 대해서는 hdfs-default.xml 구성 파일을 조사해야합니다. 기본 설정은 $ {hadoop.tmp.dir} / dfs / data이며 $ {hadoop.tmp.dir}은 실제로 여기에 설명 된 core-default.xml에 있습니다.
구성 옵션은 여기에 설명되어 있습니다. 이 설정에 대한 설명은 다음과 같습니다.
-
==============================
2.현재 버전 (2.7.1)과 같습니다.
현재 버전 (2.7.1)과 같습니다.
/tmp/hadoop-${user.name}/dfs/data
dfs.datanode.data.dir, hadoop.tmp.dir 설정 기준 : http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
-
==============================
3."더 최근의 대답"과 hadoop 버전 번호를 명확히하기 위해 :
"더 최근의 대답"과 hadoop 버전 번호를 명확히하기 위해 :
Hadoop 1.2.1 (또는 비슷한 것)을 사용하면 @Binary Nerd의 대답은 여전히 사실입니다.
그러나 Hadoop 2.1.0-beta (또는 비슷하게)를 사용한다면 여기에서 설정 문서를 읽고 설정하고자하는 옵션은 다음과 같다 : dfs.datanode.data.dir
-
==============================
4.hadoop 3.0.0의 경우, hdfs 루트 경로는 "dfs.datanode.data.dir"속성에 의해 주어진다.
hadoop 3.0.0의 경우, hdfs 루트 경로는 "dfs.datanode.data.dir"속성에 의해 주어진다.
-
==============================
5.cmd 프롬프트에서이를 실행하면 HDFS 위치가 표시됩니다.
cmd 프롬프트에서이를 실행하면 HDFS 위치가 표시됩니다.
bin/hadoop fs -ls /
from https://stackoverflow.com/questions/2358402/where-hdfs-stores-files-locally-by-default by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 큰 따옴표로 묶고 탭으로 HIVE 테이블로 구분하여 CSV 데이터를로드하는 방법? (0) | 2019.06.03 |
---|---|
[HADOOP] 왜 ./bin/spark-shell에서 WARN NativeCodeLoader를 제공합니까? 해당 플랫폼에 native-hadoop 라이브러리를로드 할 수 없습니까? (0) | 2019.06.03 |
[HADOOP] Mysql에서 Pig로 테이블 데이터를 읽는 방법 (0) | 2019.06.03 |
[HADOOP] 테이블을 조인하는 중 하이브 쿼리의 오류 (0) | 2019.06.03 |
[HADOOP] Hadoop : 키와 값은 출력 파일에서 탭으로 구분됩니다. 세미콜론으로 구분 된 방법은 무엇입니까? (0) | 2019.06.03 |