[HADOOP] Hadoop 3 : 삭제 코딩을 구성 / 활성화하는 방법은 무엇입니까?

Hadoop 3 : 삭제 코딩을 구성 / 활성화하는 방법은 무엇입니까?

Hadoop 3 클러스터를 설정하려고합니다.

이 레이저 코딩 기능에 대한 두 가지 질문 :

Hadoop 2 (복제 요소 3)와 동일한 데이터 보안을 확보하기 위해 Hadoop 3 소거 코딩의 디스크 공간 이점 (200 % 대신 50 % 오버 헤드 만)을 얻기 위해 삭제 코딩 / 복제와 관련된 관련 구성 특성을 표시하십시오. .

해결법

1. ==============================

   1.Hadoop3에서는 HDFS의 모든 폴더에 대해 삭제 코딩 정책을 사용할 수 있습니다. Hadoop3에서는 기본적으로 삭제 코딩이 활성화되어 있지 않으므로 원하는 폴더 경로를 지정하여 setPolicy 명령을 사용하여 삭제할 수 있습니다.

   Hadoop3에서는 HDFS의 모든 폴더에 대해 삭제 코딩 정책을 사용할 수 있습니다. Hadoop3에서는 기본적으로 삭제 코딩이 활성화되어 있지 않으므로 원하는 폴더 경로를 지정하여 setPolicy 명령을 사용하여 삭제할 수 있습니다.

   1 : 삭제 코딩이 사용되도록하기 위해 getPolicy 명령을 실행할 수 있습니다.

   2 : Hadoop3에서 복제 팩터 설정은 삭제 코드 setPolicy로 구성되지 않은 다른 폴더에만 영향을줍니다. 단일 클러스터에서이 레이저 코딩 및 복제 팩터 설정을 모두 사용할 수 있습니다.

   지원되는 삭제 정책을 나열하는 명령 :

   ./bin/hdfs ec -listPolicies

   XOR-2-1-1024k 삭제 정책을 활성화하는 명령 :

   ./bin/hdfs ec -enablePolicy -policy XOR-2-1-1024k

   삭제 정책을 HDFS 디렉토리로 설정하는 명령 :

   ./bin/hdfs ec -setPolicy -path / tmp -policy XOR-2-1-1024k

   주어진 디렉토리로 정책을 설정하는 명령 :

   ./bin/hdfs ec -getPolicy-경로 / tmp

   디렉토리에서 정책을 제거하는 명령.

   ./bin/hdfs ec -unsetPolicy-경로 / tmp

   정책을 비활성화하는 명령 :

   ./bin/hdfs ec -disablePolicy -policy XOR-2-1-1024k

from https://stackoverflow.com/questions/51475712/hadoop-3-how-to-configure-enable-erasure-coding by cc-by-sa and MIT license