[HADOOP] 데이터 호수 스토어의 백업

데이터 호수 스토어의 백업

나는 데이터 호수 저장소 (DLS)에 대한 백업 전략에 일하고 있습니다. 내 계획은 두 DLS 그들 사이의 계정 및 데이터 복사를 만드는 것입니다. 나는 이것을 달성하기 위해 여러 가지 방법을 평가했지만 그들 중 누구도는 POSIX의 ACL (DLS 용어로 권한)을 유지하기위한 요구 사항을 만족하지 않습니다. PowerShell cmdlet을 데이터가 VM에 차 DLS에서 다운로드하고 보조 DLS에 다시 업로드 요구한다. AdlCopy 도구는 권한 (이 하드 요구 사항입니다하지 않는 것이) 지역에 걸쳐 데이터를 복사도 지원을 보존하지 않습니다 만 윈도우 10에서 작동합니다. 내가 권한을 유지하지 않습니다 또한 그것을 실현 될 때까지 데이터 공장은 가장 합리적인 방법처럼 보였다. 어떤 내 마지막 옵션 날 리드 - Distcp. Distcp 가이드 (https://hadoop.apache.org/docs/current/hadoop-distcp/DistCp.html)에 따르면,이 도구는 권한의 보존을 지원합니다. 그러나 Distcp를 사용하는 단점은 도구 HDInsight에서 실행해야한다는 것입니다. 그것은 내 및 클러스터 간 복사를 모두 지원하지만, 차라리 그냥 백업 작업에 대한 실행 HDInsight 클러스터가없는 것입니다. 나는 뭔가를 놓치고 있습니까? 사람이 어떤 좋은 제안이 있습니까?

해결법

1. ==============================

   1.귀하의 평가는 포괄적이다. 사람들은 실제로 사용 권한을 복사 할해야 사용할 수있는 옵션입니다. 그래서 미안, 그 중 하나를 선택해야합니다. 당신이 진정으로 권한을 복사 것 서버를 사용하지 않는 옵션을 원하는 경우에, 푸른 데이터 공장을해야합니다. https://feedback.azure.com/forums/270578-data-factory - 여기서 피드백 항목을 만들시겠습니까?

   귀하의 평가는 포괄적이다. 사람들은 실제로 사용 권한을 복사 할해야 사용할 수있는 옵션입니다. 그래서 미안, 그 중 하나를 선택해야합니다. 당신이 진정으로 권한을 복사 것 서버를 사용하지 않는 옵션을 원하는 경우에, 푸른 데이터 공장을해야합니다. https://feedback.azure.com/forums/270578-data-factory - 여기서 피드백 항목을 만들시겠습니까?

   감사, Sachin Sheth 프로그램 관리자, 푸른 데이터 호수.

from https://stackoverflow.com/questions/49628322/backup-of-data-lake-store by cc-by-sa and MIT license