[HADOOP] hadoop hdfs에서 / tmp 디렉토리 란 무엇입니까?

hadoop hdfs에서 / tmp 디렉토리 란 무엇입니까?

각 노드에 4 개의 datanode 및 hdfs 구조의 클러스터가 있습니다.

hdfs에서 / tmp 폴더가 더 많은 공간 (217GB)을 차지하고 있음을 알 수 있으므로 디스크 공간 문제에 직면하고 있습니다. 그래서 / tmp 폴더에서 데이터를 조사하려고했습니다. 다음 임시 파일을 찾았습니다. 이 임시 폴더에는 각각 10GB ~ ​​20GB 크기의 일부 파일이 들어 있습니다. 이 / tmp 디렉토리를 지우고 싶습니다. 누구든지이 tmp 폴더 또는 부품 파일을 삭제할 때의 결과를 알려주십시오. 내 클러스터에 영향을 미칩니 까?

해결법

1. ==============================

   1.HDFS / tmp 디렉토리는 주로 mapreduce 작업 중 임시 저장소로 사용됩니다. Mapreduce 아티팩트, 중간 데이터 등이이 디렉토리 아래에 보관됩니다. 이러한 파일은 mapreduce 작업 실행이 완료되면 자동으로 지워집니다. 이 임시 파일을 삭제하면 현재 실행중인 mapreduce 작업에 영향을 줄 수 있습니다.

   HDFS / tmp 디렉토리는 주로 mapreduce 작업 중 임시 저장소로 사용됩니다. Mapreduce 아티팩트, 중간 데이터 등이이 디렉토리 아래에 보관됩니다. 이러한 파일은 mapreduce 작업 실행이 완료되면 자동으로 지워집니다. 이 임시 파일을 삭제하면 현재 실행중인 mapreduce 작업에 영향을 줄 수 있습니다.

   임시 파일은 돼지에 의해 생성됩니다. 임시 파일 삭제는 끝에 발생합니다. 스크립트 실행이 실패하거나 종료 된 경우 Pig는 임시 파일 삭제를 처리하지 않습니다. 그런 다음이 상황을 처리해야합니다. 이 임시 파일은 스크립트 자체의 활동을 정리하는 것이 좋습니다.

   다음 기사는 좋은 이해를 제공합니다.

   http://www.lopakalogic.com/articles/hadoop-articles/pig-keeps-temp-files/

from https://stackoverflow.com/questions/24885881/what-is-tmp-directory-in-hadoop-hdfs by cc-by-sa and MIT license