[HADOOP] HDFS에서 다른 블록 배치 정책을 가질 수 있습니까?
HADOOPHDFS에서 다른 블록 배치 정책을 가질 수 있습니까?
즉 여러 개의 앱이 있고 하나의 복사본이있는 위치에 따라 각 앱마다 요구 사항이 다른 하나의 클러스터-이 여러 개의 앱을 지원하도록 설정할 수 있습니까?
해결법
-
==============================
1.예, 가능합니다.
예, 가능합니다.
주의 : 위험을 감수하십시오. 블록 배치 전략을 작성하는 것은 매우 복잡하고 위험합니다. 앱에서 복제본 배치 방법을 결정해야하는 코드 냄새가 나는 것 같습니다. 실제로 블록 배치 전략을 작성해야하는지 생각해보십시오. 경고를 표시 한 후이를 수행하는 방법을 알고 싶다면 진행하십시오. 일반적으로이 기능은 클러스터의 균형을 얼마나 잘 조정하는 데 사용됩니다. 예 : Hadoop 공급 업체 중 하나가 구축 한 전략 중 하나는 디스크 사용률이 가장 낮은 디스크에 블록을 배치하는 것입니다.
다음은 확인할 수있는 많은 리소스입니다.
from https://stackoverflow.com/questions/27992858/can-i-have-different-block-placement-policies-in-hdfs by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 복잡한 편집을 구현하는 방법은 무엇입니까? (0) | 2019.09.15 |
---|---|
[HADOOP] 하둡과 NLTK : 스톱 워드로 실패 (0) | 2019.09.15 |
[HADOOP] http : // localhost : 50070 /의 hadoop 웹 UI가 작동하지 않습니다 (0) | 2019.09.15 |
[HADOOP] 하이브 : CSV 파일에 포함 된 JSON 열을 분해하는 방법은 무엇입니까? (0) | 2019.09.14 |
[HADOOP] Pyspark 응용 프로그램은 부분적으로 dataproc 클러스터 리소스를 이용합니다 (0) | 2019.09.14 |