[HADOOP] HBase region 서버와 Hadoop 데이터 노드는 같은 시스템에 있어야합니까?
HADOOPHBase region 서버와 Hadoop 데이터 노드는 같은 시스템에 있어야합니까?
죄송합니다. 클러스터를 설정하여 테스트 할 수있는 리소스가 없으므로 다음을 알고 싶습니다.
고맙습니다!
해결법
-
==============================
1.HBase 아키텍처에 대한 자세한 내용은 Lars 블로그의이 우수한 게시물을 확인하십시오. http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.html
HBase 아키텍처에 대한 자세한 내용은 Lars 블로그의이 우수한 게시물을 확인하십시오. http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.html
BTW, 괜찮은 RAM을 갖춘 PC를 가지고 있다면 가상 머신으로 데모 클러스터를 설정할 수 있습니다. 개발 환경에서 먼저 플랫폼을 적절하게 테스트하지 않고 프로덕션 환경을 설정하려고 시도하지 마십시오.
-
==============================
2.이 답변에 대한 자세한 내용은 다음을 참조하십시오.
이 답변에 대한 자세한 내용은 다음을 참조하십시오.
나는 누군가가 용어를 함께 해석 할 수 있을지 잘 모르겠다. 그래서 더 정확하게하려고하자.
따라서 모든 Hadoop Distribution (예 : Cloudera, MAPR, Hortonworks 등)에서 HBase의 경우 "RegionServers"는 "DataNodeServers"와 "함께 배치"됩니다.
이것은 HDFS 클러스터를 구성하는 실제 슬레이브 (데이터 노드) 서버가 각각 HDFS 데이터 제공 데몬 (프로그램)을 실행하고 있음을 의미합니다. HBase 영역 서비스 데몬 (프로그램)도 실행 중입니다!
이렇게하면 "스토리지"위치에서 "처리"위치로 거대한 데이터를 거대한 "이동"하지 않고 HDFS 클러스터의 모든 개별 노드에 데이터를 동시에 처리하고 저장하는 등 지역성을 보장합니다. 지역은 HBase 지역 서버 (HBase 데몬을 실행하는 데이터 노드도)가 HRegions를 구성하는 HFiles를 포함하는 각 데이터 노드에서 모든 처리 (퍼팅 / 가져 오기 / 검색)를 수행해야하므로 Hadoop 클러스터의 성공에 매우 중요합니다. HBases (Hadoop-dataBases)를 구성하는 HTables를 구성합니다.
따라서 서버 (VM 또는 Windows, Linux 등의 실제)는 동시에 여러 개의 데몬을 실행할 수 있으며 종종 수십 개의 데몬을 정기적으로 실행합니다.
from https://stackoverflow.com/questions/27796591/should-the-hbase-region-server-and-hadoop-data-node-on-the-same-machine by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 주인에 의해 분리되고 제거 된 스파크 드라이버 (0) | 2019.08.04 |
---|---|
[HADOOP] 멀티 코어 시스템에서의 Hadoop 및 map-reduce (0) | 2019.08.04 |
[HADOOP] 왜 YARN Java 힙 공간 메모리 오류입니까? (0) | 2019.08.04 |
[HADOOP] hdfs의 하이브 테이블을 csv로 내보내기 (0) | 2019.08.04 |
[HADOOP] Hive 파티션 컬럼 이름을 변경하는 방법 (0) | 2019.08.04 |