[HADOOP] Hadoop MapReduce : Mapper-Reducer의 키로 두 값

Hadoop MapReduce : Mapper-Reducer의 키로 두 값

두 가지 구성 요소로 키를 만들려면 어떻게해야합니까? 그 이유는 나는 방향이없는 그래프를 가지고 있기 때문입니다. A와 B가 통신을 통해 연결되면 두 개의 노드 A와 B 사이에 가장자리가 있습니다 (방향은 무의미 함). 이 통신에는 숫자 매개 변수가 있습니다. 그래서 내가 성취하고자하는 것은 A와 B를 하나의 집합으로 결합하는 열쇠를 가지고 A에서 B와 B에서 A 로의 통신이 동등한 것으로 간주되어 통계를 얻도록 요약 될 수 있도록하는 것입니다.

말하다:

A B 5

B A 10

그런 다음 A와 B를 키로 포함하는 집합의 값이 5 + 10 = 15가되도록 키가 의미 적으로 "A 또는 B 함께"이어야합니다.

wordcount 예제는 특정 단어를 키로 사용합니다. 필자의 경우에는 두 가지 구성 요소가있는 키 세트를 갖고 싶습니다. 지도를 만들고 단계를 줄이는 동안 A부터 B 또는 A에서 B까지를 만족하는 한 합계를 원합니다.

고마워!

해결법

1. ==============================

   1.데이빗의 (정답) 답변 외에도, 문제가 그래프가있는 경우에는 http://incubator.apache.org/giraph/도보십시오.

   데이빗의 (정답) 답변 외에도, 문제가 그래프가있는 경우에는 http://incubator.apache.org/giraph/도보십시오.

2. ==============================

   2.자체 비교 규칙이있는 사용자 지정 키가 필요합니다. 당신은 WritableComparable을 그래프 링크 정보를 포함하는 클래스 위에 구현함으로써이 작업을 수행 할 수 있습니다. 다음은 예제 / 설명입니다. http://developer.yahoo.com/hadoop/tutorial/module5.html#keytypes

   자체 비교 규칙이있는 사용자 지정 키가 필요합니다. 당신은 WritableComparable을 그래프 링크 정보를 포함하는 클래스 위에 구현함으로써이 작업을 수행 할 수 있습니다. 다음은 예제 / 설명입니다. http://developer.yahoo.com/hadoop/tutorial/module5.html#keytypes

from https://stackoverflow.com/questions/10893549/hadoop-mapreduce-two-values-as-key-in-mapper-reducer by cc-by-sa and MIT license