[HADOOP] 의 감속기의 비정상적인 행동 하둡에지도-감소?
HADOOP의 감속기의 비정상적인 행동 하둡에지도-감소?
나는 현재 하둡에 의사 분산 모드에서 작업하고 있습니다. 기능 감소의 나 방법이 작동 : 각 키의 경우는 싱글 톤 클래스의 인스턴스를 만들 것입니다 그 값의 ArrayList를을 만들 것 [이 클래스는, 그래서 그것을 변경할 수 없습니다 라이브러리에 존재한다]. 그런 다음이 인스턴스의 메소드를 호출합니다.
이제 내 문제는 : 다음 감속기 만은 "java.lang.Exception와"클래스 [싱글 하나] 인스턴스화 할 수없는 말 것 다른 하나의 키를 처리합니다지도 기능이 키를 방출하자.
이런 일이 왜 내 관심사는 무엇입니까? 의사 분산 모드에서와 같이 각각의 감속기는 다른 JVM을 실행!
해결법
from https://stackoverflow.com/questions/17756491/unusual-behavior-of-reducer-of-map-reduce-in-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] HIVE 쿼리는 지역 저장 파일에서 데이터 가져 오기 후 null 값을 반환 (0) | 2019.10.12 |
---|---|
[HADOOP] 수로 : 데이터가 서버로 전송 (0) | 2019.10.12 |
[HADOOP] 이상한 행동을 하둡 : 키에 대한 모든 값을하지 않는 기능을 감소 (0) | 2019.10.12 |
[HADOOP] 겸손한 자원을 사용하여 N-g 데이터 세트 구글 도서에 처리를 할 수있는 가장 실현 가능한 옵션은 무엇입니까? (0) | 2019.10.12 |
[HADOOP] 스파크 자바 DataFrame에 JavaRDD 변환 (0) | 2019.10.12 |