[REDIS] 위치 정보 데이터의 큰 목록 긴 / 위도와 요소의 태그 거대한 목록

위치 정보 데이터의 큰 목록 긴 / 위도와 요소의 태그 거대한 목록

나는 위치 정보 이벤트의 거대한 목록을 가지고 :

Event (1 billion)
------
id
datetime
lat
long

그리고 관심의 포인트의 목록이 열려 거리지도에서로드 :

POI (1 million)
------
id
tag   (shop, restaurant, etc.)
lat
long

나는 각 이벤트에 각각 관심 지점의 태그를 지정하고 싶습니다. 이 문제를 달성하기 위해 최선의 아키텍처는 무엇입니까? 우리는 구글 BigQuery를 사용하여 시도 그러나 우리는 십자가를 어떻게 가입해야하고 그것이 작동하지 않습니다. 우리는 다른 빅 데이터 시스템을 사용하기 위해 열려 있습니다.

해결법

1. ==============================

   1.데이터 흐름을 사용하면 당신은 CoGroupByKey를 사용하여 아주 쉽게 크로스 가입 할 수 있습니다. 이 방법 (주어진 키에 대한 항목의 목록이 메모리에 맞게 너무 큰 경우 데이터 흐름이 자동으로 디스크에 유출 것) 메모리에 맞게 필요가 합류 당신 만 이벤트와 POI를 사용.

   데이터 흐름을 사용하면 당신은 CoGroupByKey를 사용하여 아주 쉽게 크로스 가입 할 수 있습니다. 이 방법 (주어진 키에 대한 항목의 목록이 메모리에 맞게 너무 큰 경우 데이터 흐름이 자동으로 디스크에 유출 것) 메모리에 맞게 필요가 합류 당신 만 이벤트와 POI를 사용.

   여기에 좀 더 세부입니다.

2. ==============================

   2.당신은 오픈 스트리트 맵 테이블을 포함하는 데이터 집합을 열 수 있습니까? (이것은 결국 공개 데이터입니다). 그 테이블로 나는 쿼리를 최적화하기 위해 시도 할 수 있습니다.

   당신은 오픈 스트리트 맵 테이블을 포함하는 데이터 집합을 열 수 있습니까? (이것은 결국 공개 데이터입니다). 그 테이블로 나는 쿼리를 최적화하기 위해 시도 할 수 있습니다.

   비슷한 질문에 대해 내가 십자가를 피하기 위해 사용할 수있는 각 행의 키를 생성을 통해 최적화 된 전체 데이터 집합을 통해 가입하세요.

   http://googlecloudplatform.blogspot.com/2014/03/geoip-geolocation-with-google-bigquery.html

   StackO : 어떻게 BigQuery에서의 GeoIP가 쿼리의 성능을 향상시키기 위해?

from https://stackoverflow.com/questions/33282306/tag-huge-list-of-elements-with-lat-long-with-large-list-of-geolocation-data by cc-by-sa and MIT license