복붙노트

[HADOOP] HBase에서 스트리밍되는 Hadoop mapreduce

HADOOP

HBase에서 스트리밍되는 Hadoop mapreduce

HBase (0.20.1)를 데이터 소스 및 데이터 싱크로 사용하는 Hadoop (0.20.1) mapreduce 작업을 구축 중입니다. 나는 파이썬에서 작업을 작성하고 싶다. 나에게 hadoop-0.20.1-streaming.jar을 사용하여 파이썬 스크립트와 데이터를주고받는 것이 필요하다. 데이터 소스 / 싱크가 HDFS 파일 인 경우이 방법이 유용합니다.

Hadoop은 Mapreduce를 위해 HBase에서 스트리밍을 지원합니까?

해결법

  1. ==============================

    1.이것은 내가 원하는 것을 수행하는 것처럼 보이지만 Hadoop 배포본의 일부는 아닙니다. 다른 제안이나 의견도 환영합니다.

    이것은 내가 원하는 것을 수행하는 것처럼 보이지만 Hadoop 배포본의 일부는 아닙니다. 다른 제안이나 의견도 환영합니다.

    http://github.com/wanpark/hadoop-hbase-streaming

  2. from https://stackoverflow.com/questions/1706754/hadoop-mapreduce-streaming-from-hbase by cc-by-sa and MIT license