[HADOOP] HDFS를 종료 한 후 데이터가 손실 되었습니까?

HDFS를 종료 한 후 데이터가 손실 되었습니까?

안녕하세요. 저는 hadoop을 배우고 있는데 간단히 바보 같은 질문이 있습니다. hadoop_home / sbin / stop-dfs.sh를 호출하여 HDFS를 종료 한 후 HDFS의 데이터가 손실되었거나 다시 가져올 수 있습니까?

해결법

1. ==============================

   1.NameNode 및 DataNode의 데이터를 속성을 사용하여 지정된 영구 위치에 저장하면 HDFS를 중지해도 데이터가 손실되지 않습니다.

   NameNode 및 DataNode의 데이터를 속성을 사용하여 지정된 영구 위치에 저장하면 HDFS를 중지해도 데이터가 손실되지 않습니다.

   보시다시피 두 속성의 기본값은 $ {hadoop.tmp.dir}을 가리키며 기본값은 / tmp입니다. Unix 기반 시스템의 / tmp에있는 데이터가 재부팅시 지워진다는 것을 이미 알고있을 것입니다.

   따라서 / tmp가 아닌 dir 위치를 지정하면 재부팅시 Hadoop HDFS 데몬에서 데이터를 다시 읽을 수 있으므로 클러스터 재시작시에도 데이터 손실이 없습니다.

2. ==============================

   2.HDFS에 저장된 데이터의 메타 데이터를 삭제하지 않는지 확인하십시오. dfs.namenode.name.dir 및 dfs.datanode.data.dir을 유지하지 않으면이 태그에있는 경로를 삭제하지 않는 것입니다. hdfs-site.xml 파일에 있습니다.

   HDFS에 저장된 데이터의 메타 데이터를 삭제하지 않는지 확인하십시오. dfs.namenode.name.dir 및 dfs.datanode.data.dir을 유지하지 않으면이 태그에있는 경로를 삭제하지 않는 것입니다. hdfs-site.xml 파일에 있습니다.

from https://stackoverflow.com/questions/28379048/data-lost-after-shutting-down-hadoop-hdfs by cc-by-sa and MIT license