[HADOOP] 다른 맵퍼 톱니에 매퍼 패스 값
HADOOP다른 맵퍼 톱니에 매퍼 패스 값
나는 두 단계가-지도 감소 하둡 프로그램이 있습니다. (mapper1, reducer1, mapper2, reducer2). 내가 mapper1 키 값의 일부를 직접 reducer1하고 다른 일부는 직접 mapper2을 통과 할 수 있습니까?
해결법
-
==============================
1.당신은 단지 (임의의 클래스 Text.class에서 "TO_MAPPER_2"를 말할 수) 어떤 임의의 키 이름이 mapper2로 이동하는 사람을하면서 매퍼, 당신은 프로세스에 reducer1 원하는 사람들을 위해 일반적으로 키 값을 설정 한 둘 수 있었다. 그래서 키가 "TO_MAPPER_2"가 아닌 경우 다음 if 문 내부에 당신의 감속기 코드 만 실행합니다. 이것은 당신의 값은 감속기에 의해 처리되지 않음을 보장 할 것입니다, 당신이 그들을 보낼 사용하는 어떤 방법으로, mapper2 변경에 도달한다.
당신은 단지 (임의의 클래스 Text.class에서 "TO_MAPPER_2"를 말할 수) 어떤 임의의 키 이름이 mapper2로 이동하는 사람을하면서 매퍼, 당신은 프로세스에 reducer1 원하는 사람들을 위해 일반적으로 키 값을 설정 한 둘 수 있었다. 그래서 키가 "TO_MAPPER_2"가 아닌 경우 다음 if 문 내부에 당신의 감속기 코드 만 실행합니다. 이것은 당신의 값은 감속기에 의해 처리되지 않음을 보장 할 것입니다, 당신이 그들을 보낼 사용하는 어떤 방법으로, mapper2 변경에 도달한다.
from https://stackoverflow.com/questions/20140594/mapper-pass-values-to-different-mappers-reducers by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Elasticsearch / 스톰 통합 방법 (0) | 2019.09.24 |
---|---|
[HADOOP] 돼지에서 중복 연속 요소를 제거 (0) | 2019.09.24 |
[HADOOP] 하둡 / 하이브에 손상된은 gzip 파일을 처리 (0) | 2019.09.24 |
[HADOOP] 하둡 MapReduce를 가진 이미지 처리 [폐쇄] (0) | 2019.09.24 |
[HADOOP] 돼지 스크립트는 카산드라 테이블을 읽기 (0) | 2019.09.24 |