[HADOOP] Scala (또는 Java)에서 HBase 액세스를위한 화상 대체
HADOOPScala (또는 Java)에서 HBase 액세스를위한 화상 대체
스칼라 (또는 Java) 응용 프로그램에서 Hadoop 클러스터의 HBase에 액세스하기 위해 좋은 솔루션 (프레임 워크)을 추천 해 주시겠습니까?
이제 나는 열렬한 방향으로 움직입니다. 필자가 얻은 프로토 타입을 사용하여 스 캘딩 라이브러리와 Maven을 결합하고 '라이브러리'코드 패키지에서 스 캘딩 작업 JAR을 분리 할 수있었습니다. 결과적으로 작업 당 최소한의 오버 헤드로 외부 클러스터에서 화상 기반 Hadoop 작업을 실행할 수있었습니다 ( '라이브러리'코드는 변경 될 때만 클러스터 '분산 캐시'에 게시되므로 거의 필요하지 않음). 작업 코드를 빠르게로드 할 수 있습니다) .
이제는 실제로 HBase 자체를 사용하기 시작했으며 화상이 좋지만 HBase에 대해 '기본'이 아닙니다. 예, hbase-scalding과 같은 것이 있지만 어쨌든 향후 조치를 계획 할 시점이 있기 때문에 내가 놓친 다른 좋은 솔루션에 대해 알고 싶습니다.
예상되는 것 :
나는 여기서 논증이 솔루션 자체보다 훨씬 유용 할 수 있다고 생각 하며이 질문은 많은 사람들에게 몇 가지 아이디어를 추가해야합니다. 조언의 평화?
해결법
-
==============================
1.HPaste http://www.gravity.com/labs/hpaste/는 당신이 찾고있는 것일 수 있습니다.
HPaste http://www.gravity.com/labs/hpaste/는 당신이 찾고있는 것일 수 있습니다.
-
==============================
2.Scalding (권장)을 사용하는 경우 HBase에 액세스하기 위해 업데이트 된 계단식 및 화상 래퍼가있는 새 프로젝트가 있습니다. 당신은 그것을 확인하고 싶을 수도 있습니다-https://github.com/ParallelAI/SpyGlass
Scalding (권장)을 사용하는 경우 HBase에 액세스하기 위해 업데이트 된 계단식 및 화상 래퍼가있는 새 프로젝트가 있습니다. 당신은 그것을 확인하고 싶을 수도 있습니다-https://github.com/ParallelAI/SpyGlass
-
==============================
3.Kiji 프로젝트 (https://github.com/kijiproject/)에 관심이있을 수 있습니다. HBase 위에 "스키마 기반"레이어를 제공합니다.
Kiji 프로젝트 (https://github.com/kijiproject/)에 관심이있을 수 있습니다. HBase 위에 "스키마 기반"레이어를 제공합니다.
또한 스 칼딩 어댑터 (KijiExpress)가 있으므로 이러한 스키마 기반 HBase 테이블에서 소스 된 튜플의 "파이프"에 대해 기능적 콜렉션 작업 (맵, 그룹 별 등)을 수행 할 수 있습니다.
-
==============================
4.업데이트 (2014 년 8 월) : Stratosphere의 이름이 Apache Flink (인큐베이팅)로 변경되었습니다.
업데이트 (2014 년 8 월) : Stratosphere의 이름이 Apache Flink (인큐베이팅)로 변경되었습니다.
성층권을 확인하십시오. 스칼라 API를 제공하고 HBase 모듈이 있으며 개발 중입니다.
더 궁금한 점이 있으면 저에게 연락하십시오!
-
==============================
5.현재 자유 시간에 hbase 스케일링을 유지하려고합니다. 나는 또한 스칼라를 집어 들고 있습니다.
현재 자유 시간에 hbase 스케일링을 유지하려고합니다. 나는 또한 스칼라를 집어 들고 있습니다.
github를보십시오
from https://stackoverflow.com/questions/16045543/alternatives-to-scalding-for-hbase-access-from-scala-or-java by cc-by-sa and MIT license