[HADOOP] map-reduce를 사용하여 분산 된 KD 트리 만들기
HADOOPmap-reduce를 사용하여 분산 된 KD 트리 만들기
map-reduce를 사용하여 분산 KD 트리를 작성하려고합니다. 분산 KD 트리에 대한 설명은 여기에서 찾을 수 있습니다. Dkd-Tree
나는 20 차원을 갖는 이미지들의 특징 벡터를 가지고있다. 나는 분산 된 kd 트리를 만들어야 만한다. 위의 링크에 따르면, 또한이 이미지를 체크 아웃 Kdtree
나는 수백만 개의 이미지를 가지고있다. 그렇다면 트리 위쪽 (이미지의 두 번째 부분)을 빌드하는 데 사용할 수있는 방법은 무엇입니까? 나는 여러 노드 사이의 이미지 분배에 혼란 스럽다.
트리가 첫 번째지도 - 축소 작업에서 HDFS로 빌드 된 경우 다음 맵 감소 작업에서 어떻게 액세스 할 수 있습니까?
해결법
from https://stackoverflow.com/questions/11009714/building-distributed-kd-tree-using-map-reduce by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 어떻게하면 hdfs에서 java로 새로운 디렉토리를 만들 수 있습니까? (0) | 2019.06.21 |
---|---|
[HADOOP] namenode, datanode는 jps를 사용하여 목록에 없습니다. (0) | 2019.06.21 |
[HADOOP] hadoop-streaming 예제를 실행하지 못했습니다 - 맵에서 key에 유형 불일치 (0) | 2019.06.21 |
[HADOOP] 열쇠에 대한 최대 가치 발견 (0) | 2019.06.21 |
[HADOOP] 지도 축소의 보조 정렬 (0) | 2019.06.21 |