복붙노트

[HADOOP] 의 감속기의 비정상적인 행동 하둡에지도-감소?

HADOOP

의 감속기의 비정상적인 행동 하둡에지도-감소?

나는 현재 하둡에 의사 분산 모드에서 작업하고 있습니다. 기능 감소의 나 방법이 작동 : 각 키의 경우는 싱글 톤 클래스의 인스턴스를 만들 것입니다 그 값의 ArrayList를을 만들 것 [이 클래스는, 그래서 그것을 변경할 수 없습니다 라이브러리에 존재한다]. 그런 다음이 인스턴스의 메소드를 호출합니다.

이제 내 문제는 : 다음 감속기 만은 "java.lang.Exception와"클래스 [싱글 하나] 인스턴스화 할 수없는 말 것 다른 하나의 키를 처리합니다지도 기능이 키를 방출하자.

이런 일이 왜 내 관심사는 무엇입니까? 의사 분산 모드에서와 같이 각각의 감속기는 다른 JVM을 실행!

해결법

    from https://stackoverflow.com/questions/17756491/unusual-behavior-of-reducer-of-map-reduce-in-hadoop by cc-by-sa and MIT license