[HADOOP] HBase에서 스트리밍되는 Hadoop mapreduce
HADOOPHBase에서 스트리밍되는 Hadoop mapreduce
HBase (0.20.1)를 데이터 소스 및 데이터 싱크로 사용하는 Hadoop (0.20.1) mapreduce 작업을 구축 중입니다. 나는 파이썬에서 작업을 작성하고 싶다. 나에게 hadoop-0.20.1-streaming.jar을 사용하여 파이썬 스크립트와 데이터를주고받는 것이 필요하다. 데이터 소스 / 싱크가 HDFS 파일 인 경우이 방법이 유용합니다.
Hadoop은 Mapreduce를 위해 HBase에서 스트리밍을 지원합니까?
해결법
-
==============================
1.이것은 내가 원하는 것을 수행하는 것처럼 보이지만 Hadoop 배포본의 일부는 아닙니다. 다른 제안이나 의견도 환영합니다.
이것은 내가 원하는 것을 수행하는 것처럼 보이지만 Hadoop 배포본의 일부는 아닙니다. 다른 제안이나 의견도 환영합니다.
http://github.com/wanpark/hadoop-hbase-streaming
from https://stackoverflow.com/questions/1706754/hadoop-mapreduce-streaming-from-hbase by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop dfs 복제 (0) | 2019.06.18 |
---|---|
[HADOOP] Spio 작업이 java.io.NotSerializableException 때문에 실패했습니다 : org.apache.spark.SparkContext (0) | 2019.06.18 |
[HADOOP] 하이브 테이블의 count (*)에 대한 잘못된 결과 (0) | 2019.06.18 |
[HADOOP] Yarn ResourceManager에없는 슬레이브 노드 (0) | 2019.06.18 |
[HADOOP] csv 파일에서 hdfs의 데이터 프레임으로 읽기 (0) | 2019.06.18 |