[HADOOP] Cassandra 및 MapReduce - 최소 설치 요구 사항
HADOOPCassandra 및 MapReduce - 최소 설치 요구 사항
데이터 지역성을 포함하여 카산드라 클러스터에서 MapReduce를 실행해야합니다. 각 작업은 작업이 실행되는 로컬 Casandra 노드에 속하는 행만 쿼리합니다.
오래된 Cassandra 버전 (0.7)에서 Hadoop for MR을 설정하는 방법에 대한 자습서가 있습니다. 현재 출시 된 버전에서는 찾을 수 없습니다.
이와 관련하여 0.7 이후로 변경된 사항은 무엇입니까?
최소 설치 (Hadoop + HDFS + ...)에 필요한 소프트웨어 모듈은 무엇입니까?
카산드라 엔터프라이즈가 필요합니까?
해결법
-
==============================
1.Cassandra에는 Hadoop과 통합하기에 충분한 몇 가지 클래스가 있습니다.
Cassandra에는 Hadoop과 통합하기에 충분한 몇 가지 클래스가 있습니다.
기본적으로 제공되는 Hadoop 통합을 사용하면 데이터가있는 호스트에서 Map 작업을 실행할 수있는 가능성을 포기하고 Reduce 기능은 결과를 다시 Cassandra에 저장할 수 있습니다.
Map-Reduce를 실행하는 데는 두 가지 방법이 있습니다.
-
==============================
2.네, 같은 것을 찾고 있었는데, DataStaxEnterprise는 단순화 된 Hadoop 통합을 가지고있는 것처럼 보입니다. 이 http://wiki.apache.org/cassandra/HadoopSupport를 읽으십시오.
네, 같은 것을 찾고 있었는데, DataStaxEnterprise는 단순화 된 Hadoop 통합을 가지고있는 것처럼 보입니다. 이 http://wiki.apache.org/cassandra/HadoopSupport를 읽으십시오.
from https://stackoverflow.com/questions/12583834/cassandra-and-mapreduce-minimal-setup-requirements by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 돼지 : 매퍼의 수를 제어합니다. (0) | 2019.07.10 |
---|---|
[HADOOP] Hadoop Map / Reduce 프로그램에 사용할 언어는 무엇입니까? Java 또는 PHP? (0) | 2019.07.10 |
[HADOOP] Hadoop에서 String 객체를 IntWritable 객체로 변환하는 방법 (0) | 2019.07.10 |
[HADOOP] Hadoop에서 다양한 언어를 사용하여 직업을 운영하는 것에 대한 장단점은 무엇입니까? (0) | 2019.07.10 |
[HADOOP] 잘못된 키 클래스 : 텍스트가 IntWritable이 아닙니다. (0) | 2019.07.10 |