복붙노트

[HADOOP] HBase를 하둡

HADOOP

HBase를 하둡

HBase를 내가 지금까지 읽은 내용을 기반으로 하둡 설치해야합니다. HBase를이 (다른 사용자와 공유하는) 기존의 하둡 클러스터를 사용하도록 설정하거나이 전용 하둡 클러스터를 사용하도록 설정할 수 있습니다처럼 그리고 그것은 보인다? 나는 후자는 안전한 구성 될 생각하지만, 사람이 이전에 어떤 경험을 가지고 (그러나 나는 HBase와 설정에 대한 이해가 정확한지 여부를 매우 확실하지 않다) 궁금하고있다.

해결법

  1. ==============================

    1.나는 페이스 북과 다른 큰 조직은 성능상의 이유로 자신의 하둡 클러스터 (배치 분석)에서 자신의 HBase를 클러스터 (실시간 액세스)을 분리하는 것을 알고있다. 클러스터에 대형 맵리 듀스 작업은 문제가 될 수있는 실시간 인터페이스의 성능에 영향을 미칠 수있는 능력을 가지고있다.

    나는 페이스 북과 다른 큰 조직은 성능상의 이유로 자신의 하둡 클러스터 (배치 분석)에서 자신의 HBase를 클러스터 (실시간 액세스)을 분리하는 것을 알고있다. 클러스터에 대형 맵리 듀스 작업은 문제가 될 수있는 실시간 인터페이스의 성능에 영향을 미칠 수있는 능력을 가지고있다.

    작은 조직에서 또는 HBase와 응답 시간이 반드시 일치 할 필요하지 않는 상황에서, 당신은 단지 동일한 클러스터를 사용할 수 있습니다.

    성능 문제 이외의 공존 많은 (또는)하지 우려가 있습니다.

  2. ==============================

    2.우리는 1000 개 코어 강한 기존의 하둡 클러스터를 설정했습니다. 짧은 답변 : 그것은 적어도 클라우 데라 CH2 149.88로, 잘 작동합니다. 그러나 하둡 버전, 귀하의 마일리지가 다를 수 있습니다.

    우리는 1000 개 코어 강한 기존의 하둡 클러스터를 설정했습니다. 짧은 답변 : 그것은 적어도 클라우 데라 CH2 149.88로, 잘 작동합니다. 그러나 하둡 버전, 귀하의 마일리지가 다를 수 있습니다.

  3. ==============================

    3.분산 모드에서 하둡의 HDFS 저장하는 데 사용됩니다. HBase와는 HDFS에 HFILE를 저장, 따라서 복제 전략과 데이타 노드 가져온 데이터 지역성의 원칙에서 혜택을 얻을 것이다.

    분산 모드에서 하둡의 HDFS 저장하는 데 사용됩니다. HBase와는 HDFS에 HFILE를 저장, 따라서 복제 전략과 데이타 노드 가져온 데이터 지역성의 원칙에서 혜택을 얻을 것이다.

    RegionServer는 기본적으로 로컬 데이터를 처리하려고하지만, 여전히 다른 데이타 노드에서 데이터를 가져올 수도 있습니다.

    그 이유는 하둡은 HBase를 함께 사용하는 방법을 이해하는 데 도움이되기를 바랍니다.

  4. from https://stackoverflow.com/questions/9935863/hbase-and-hadoop by cc-by-sa and MIT license