복붙노트

[HADOOP] 어떻게 혼자 HIVE에 대한 HDFS 복제 요인을 변경하려면

HADOOP

어떻게 혼자 HIVE에 대한 HDFS 복제 요인을 변경하려면

우리의 현재 HDFS 클러스터는 우리가 그 구현하는 것이 가능 5. 혼자 하이브 중간 파일 (hive.exec.scratchdir) 복제 요인을 증가 할 성능과 신뢰성 (노드 장애)를 개선하기 위해 복제 요소 1.But이있다?

감사합니다, 셀바

해결법

  1. ==============================

    1.-setrep 당신을 도움이된다면 참조하십시오.

    -setrep 당신을 도움이된다면 참조하십시오.

    setrep

    용법:

    hadoop fs -setrep [-R] [-w] <numReplicas> <path>
    

    파일의 복제 팩터를 변경합니다. 경로가 디렉토리 인 경우, 명령이 반복적으로 경로를 루트 디렉토리 트리 아래에있는 모든 파일의 복제 팩터를 변경합니다.

    옵션 :

    The -w flag requests that the command wait for the replication to complete. This can potentially take a very long time.
    
    The -R flag is accepted for backwards compatibility. It has no effect.
    

    예:

    hadoop fs -setrep -w 3 /user/hadoop/dir1
    
    hadoop fs -setrep -R -w 100 /path/to/hive/warehouse
    

    참조 : -setrep

  2. from https://stackoverflow.com/questions/33292277/how-to-change-hdfs-replication-factor-for-hive-alone by cc-by-sa and MIT license