복붙노트

[HADOOP] Cassandra 및 MapReduce - 최소 설치 요구 사항

HADOOP

Cassandra 및 MapReduce - 최소 설치 요구 사항

데이터 지역성을 포함하여 카산드라 클러스터에서 MapReduce를 실행해야합니다. 각 작업은 작업이 실행되는 로컬 Casandra 노드에 속하는 행만 쿼리합니다.

오래된 Cassandra 버전 (0.7)에서 Hadoop for MR을 설정하는 방법에 대한 자습서가 있습니다. 현재 출시 된 버전에서는 찾을 수 없습니다.

이와 관련하여 0.7 이후로 변경된 사항은 무엇입니까?

최소 설치 (Hadoop + HDFS + ...)에 필요한 소프트웨어 모듈은 무엇입니까?

카산드라 엔터프라이즈가 필요합니까?

해결법

  1. ==============================

    1.Cassandra에는 Hadoop과 통합하기에 충분한 몇 가지 클래스가 있습니다.

    Cassandra에는 Hadoop과 통합하기에 충분한 몇 가지 클래스가 있습니다.

    기본적으로 제공되는 Hadoop 통합을 사용하면 데이터가있는 호스트에서 Map 작업을 실행할 수있는 가능성을 포기하고 Reduce 기능은 결과를 다시 Cassandra에 저장할 수 있습니다.

    Map-Reduce를 실행하는 데는 두 가지 방법이 있습니다.

  2. ==============================

    2.네, 같은 것을 찾고 있었는데, DataStaxEnterprise는 단순화 된 Hadoop 통합을 가지고있는 것처럼 보입니다. 이 http://wiki.apache.org/cassandra/HadoopSupport를 읽으십시오.

    네, 같은 것을 찾고 있었는데, DataStaxEnterprise는 단순화 된 Hadoop 통합을 가지고있는 것처럼 보입니다. 이 http://wiki.apache.org/cassandra/HadoopSupport를 읽으십시오.

  3. from https://stackoverflow.com/questions/12583834/cassandra-and-mapreduce-minimal-setup-requirements by cc-by-sa and MIT license