복붙노트

[HADOOP] 다른 맵퍼 톱니에 매퍼 패스 값

HADOOP

다른 맵퍼 톱니에 매퍼 패스 값

나는 두 단계가-지도 감소 하둡 프로그램이 있습니다. (mapper1, reducer1, mapper2, reducer2). 내가 mapper1 키 값의 일부를 직접 reducer1하고 다른 일부는 직접 mapper2을 통과 할 수 있습니까?

해결법

  1. ==============================

    1.당신은 단지 (임의의 클래스 Text.class에서 "TO_MAPPER_2"를 말할 수) 어떤 임의의 키 이름이 mapper2로 이동하는 사람을하면서 매퍼, 당신은 프로세스에 reducer1 원하는 사람들을 위해 일반적으로 키 값을 설정 한 둘 수 있었다. 그래서 키가 "TO_MAPPER_2"가 아닌 경우 다음 if 문 내부에 당신의 감속기 코드 만 실행합니다. 이것은 당신의 값은 감속기에 의해 처리되지 않음을 보장 할 것입니다, 당신이 그들을 보낼 사용하는 어떤 방법으로, mapper2 변경에 도달한다.

    당신은 단지 (임의의 클래스 Text.class에서 "TO_MAPPER_2"를 말할 수) 어떤 임의의 키 이름이 mapper2로 이동하는 사람을하면서 매퍼, 당신은 프로세스에 reducer1 원하는 사람들을 위해 일반적으로 키 값을 설정 한 둘 수 있었다. 그래서 키가 "TO_MAPPER_2"가 아닌 경우 다음 if 문 내부에 당신의 감속기 코드 만 실행합니다. 이것은 당신의 값은 감속기에 의해 처리되지 않음을 보장 할 것입니다, 당신이 그들을 보낼 사용하는 어떤 방법으로, mapper2 변경에 도달한다.

  2. from https://stackoverflow.com/questions/20140594/mapper-pass-values-to-different-mappers-reducers by cc-by-sa and MIT license