[HADOOP] 왜 하둡 매퍼 작업의 지속 시간은 항상 삼초의 배수입니까?
HADOOP왜 하둡 매퍼 작업의 지속 시간은 항상 삼초의 배수입니까?
내 작업 로그를 찾고 나는 매퍼 작업을 모두 3 초의 배수 후 마무리 발견 :
나는 로그를 볼 때 어떤 이상 실행 작업은 같은 일을 참조하십시오 :
이 이유는?
해결법
-
==============================
1.하둡의 이전 버전에 Task.PROGRESS_INTERVAL 하드 3000 밀리 초 단위로 코딩되어 있기 때문에
하둡의 이전 버전에 Task.PROGRESS_INTERVAL 하드 3000 밀리 초 단위로 코딩되어 있기 때문에
from https://stackoverflow.com/questions/29040170/why-are-the-durations-of-hadoop-mapper-tasks-always-a-multiple-of-3-seconds by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡 KNN은 100 % 0 %를 줄일지도에 붙어 알고리즘을 결합 (0) | 2019.10.16 |
---|---|
[HADOOP] 표 하이브에서 액세스 할 수 없습니다 스파크를 통해로드 (0) | 2019.10.16 |
[HADOOP] HDFS는 캐싱 항아리 때문에 실패 스파크 작업 (0) | 2019.10.16 |
[HADOOP] 하이브 기능 분기 () 반환 '잘못된 기능' (0) | 2019.10.16 |
[HADOOP] Kerberos를 활성화 한 후 로그인 읽을 historyserver 수 없습니다 (0) | 2019.10.16 |