복붙노트

[HADOOP] Elasticsearch / 스톰 통합 방법

HADOOP

Elasticsearch / 스톰 통합 방법

Elasticsearch와 아파치 스톰 간의 간단한 통합 경로를 찾고있다. 이 지원은 elasticsearch - 하둡 라이브러리에 포함되어 있지만이는 하둡 스택에 종속의 톤을 제공합니다 : 하이브에서 캐스 케이 딩, 나는 단순히 필요가 없습니다. 거기에 사람이 elasticsearch-Hadoop을 초래하지 않고 통합에 성공 했습니까? 감사.

해결법

  1. ==============================

    1.내 프로젝트에서 우리는 폭풍 출력을 색인에 대한 rabbitmq 강을 사용하고 있습니다. 그것은 elasticsearch에 쓸 수있는 매우 효율적이고 편리한 방법입니다. 당신은 기본적으로 큐에 메시지를 넣고 강 나머지는 않습니다. 뭔가 stucked 도착하면 데이터는 단순히 큐에 버퍼링됩니다.

    내 프로젝트에서 우리는 폭풍 출력을 색인에 대한 rabbitmq 강을 사용하고 있습니다. 그것은 elasticsearch에 쓸 수있는 매우 효율적이고 편리한 방법입니다. 당신은 기본적으로 큐에 메시지를 넣고 강 나머지는 않습니다. 뭔가 stucked 도착하면 데이터는 단순히 큐에 버퍼링됩니다.

    나는이 말을 이렇게 서면이 강 방법을 사용하고 키트 MENKE이 시사하는 것처럼, 읽기 자바 API를 elasticsearch (또는 농담 클라이언트, 우리는이 멋진 발견했습니다 그리고 우리가 읽는하지 않을지라도, ApacheHttpAsyncClient에 비동기 API를 내놓고을 제공합니다 폭풍 토폴로지에 있지만) 다른 서비스에 elasticsearch.

  2. from https://stackoverflow.com/questions/26750821/elasticsearch-storm-integration-methods by cc-by-sa and MIT license