[HADOOP] 어떻게 혼자 HIVE에 대한 HDFS 복제 요인을 변경하려면
HADOOP어떻게 혼자 HIVE에 대한 HDFS 복제 요인을 변경하려면
우리의 현재 HDFS 클러스터는 우리가 그 구현하는 것이 가능 5. 혼자 하이브 중간 파일 (hive.exec.scratchdir) 복제 요인을 증가 할 성능과 신뢰성 (노드 장애)를 개선하기 위해 복제 요소 1.But이있다?
감사합니다, 셀바
해결법
-
==============================
1.-setrep 당신을 도움이된다면 참조하십시오.
-setrep 당신을 도움이된다면 참조하십시오.
setrep
용법:
hadoop fs -setrep [-R] [-w] <numReplicas> <path>
파일의 복제 팩터를 변경합니다. 경로가 디렉토리 인 경우, 명령이 반복적으로 경로를 루트 디렉토리 트리 아래에있는 모든 파일의 복제 팩터를 변경합니다.
옵션 :
The -w flag requests that the command wait for the replication to complete. This can potentially take a very long time. The -R flag is accepted for backwards compatibility. It has no effect.
예:
hadoop fs -setrep -w 3 /user/hadoop/dir1 hadoop fs -setrep -R -w 100 /path/to/hive/warehouse
참조 : -setrep
from https://stackoverflow.com/questions/33292277/how-to-change-hdfs-replication-factor-for-hive-alone by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] HDFS 쓰는 동안 소켓 시간 초과 문제를 스파크 (0) | 2019.10.19 |
---|---|
[HADOOP] 어떻게 JSON의 serde를 사용하여 하이브 테이블의 JSON 열을 구문 분석 할 수 있습니까? (0) | 2019.10.19 |
[HADOOP] HDFS에 디렉토리를 업로드 할 수 없습니다. `/ usr / 지방 / tmp를 / ': 해당 파일이나 디렉토리 (0) | 2019.10.19 |
[HADOOP] 하둡 MapReduce의 자바 프로그램 예외 : java.lang.NoSuchMethodError [중복] (0) | 2019.10.19 |
[HADOOP] 하이브 정규 표현식 (0) | 2019.10.19 |