[HADOOP] HBase를 하둡
HADOOPHBase를 하둡
HBase를 내가 지금까지 읽은 내용을 기반으로 하둡 설치해야합니다. HBase를이 (다른 사용자와 공유하는) 기존의 하둡 클러스터를 사용하도록 설정하거나이 전용 하둡 클러스터를 사용하도록 설정할 수 있습니다처럼 그리고 그것은 보인다? 나는 후자는 안전한 구성 될 생각하지만, 사람이 이전에 어떤 경험을 가지고 (그러나 나는 HBase와 설정에 대한 이해가 정확한지 여부를 매우 확실하지 않다) 궁금하고있다.
해결법
-
==============================
1.나는 페이스 북과 다른 큰 조직은 성능상의 이유로 자신의 하둡 클러스터 (배치 분석)에서 자신의 HBase를 클러스터 (실시간 액세스)을 분리하는 것을 알고있다. 클러스터에 대형 맵리 듀스 작업은 문제가 될 수있는 실시간 인터페이스의 성능에 영향을 미칠 수있는 능력을 가지고있다.
나는 페이스 북과 다른 큰 조직은 성능상의 이유로 자신의 하둡 클러스터 (배치 분석)에서 자신의 HBase를 클러스터 (실시간 액세스)을 분리하는 것을 알고있다. 클러스터에 대형 맵리 듀스 작업은 문제가 될 수있는 실시간 인터페이스의 성능에 영향을 미칠 수있는 능력을 가지고있다.
작은 조직에서 또는 HBase와 응답 시간이 반드시 일치 할 필요하지 않는 상황에서, 당신은 단지 동일한 클러스터를 사용할 수 있습니다.
성능 문제 이외의 공존 많은 (또는)하지 우려가 있습니다.
-
==============================
2.우리는 1000 개 코어 강한 기존의 하둡 클러스터를 설정했습니다. 짧은 답변 : 그것은 적어도 클라우 데라 CH2 149.88로, 잘 작동합니다. 그러나 하둡 버전, 귀하의 마일리지가 다를 수 있습니다.
우리는 1000 개 코어 강한 기존의 하둡 클러스터를 설정했습니다. 짧은 답변 : 그것은 적어도 클라우 데라 CH2 149.88로, 잘 작동합니다. 그러나 하둡 버전, 귀하의 마일리지가 다를 수 있습니다.
-
==============================
3.분산 모드에서 하둡의 HDFS 저장하는 데 사용됩니다. HBase와는 HDFS에 HFILE를 저장, 따라서 복제 전략과 데이타 노드 가져온 데이터 지역성의 원칙에서 혜택을 얻을 것이다.
분산 모드에서 하둡의 HDFS 저장하는 데 사용됩니다. HBase와는 HDFS에 HFILE를 저장, 따라서 복제 전략과 데이타 노드 가져온 데이터 지역성의 원칙에서 혜택을 얻을 것이다.
RegionServer는 기본적으로 로컬 데이터를 처리하려고하지만, 여전히 다른 데이타 노드에서 데이터를 가져올 수도 있습니다.
그 이유는 하둡은 HBase를 함께 사용하는 방법을 이해하는 데 도움이되기를 바랍니다.
from https://stackoverflow.com/questions/9935863/hbase-and-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 돼지 스크립트는 카산드라 테이블을 읽기 (0) | 2019.09.24 |
---|---|
[HADOOP] 사용자 정의 inputformat 하둡 0.20에 protobufs를 처리하는 (0) | 2019.09.24 |
[HADOOP] 찾거나 하둡의 메인 클래스의 오류를로드 할 수 없습니다 (0) | 2019.09.24 |
[HADOOP] 아파치 돼지 아래 가방에서 모든 가능한 순열을 찾는 방법 (0) | 2019.09.24 |
[HADOOP] 하이브 지원은 선택에서 선택 하는가? (0) | 2019.09.24 |