[HADOOP] 하둡 작업 진행
HADOOP하둡 작업 진행
나는 하둡 클러스터의 모든 노드에서 실행중인 각 맵 작업의 진행 상황을 계산해야합니다. 나는 전체 입력 데이터의 크기에 의해 처리 된 데이터의 크기를 나누어 생각했다,하지만 난 작업에 대한 정보를 얻는 방법을 모르겠습니다.
나는) TaskStatus 클래스 메소드 getProgress을 (가지고 볼 수 있지만 설명이 그것을 위해 존재하지 않는다. 내가 필요로하는 가치를 제공 하는가?
해결법
-
==============================
1.지도 작업의 경우, 예 getProgress ()는 매퍼가 입력 파일을 통해 진행하고있다 얼마나 멀리 반환합니다. 작업을 줄이기 위해, 계산은 덜 간단합니다. 이 문서는 꽤 좋은 설명이있다.
지도 작업의 경우, 예 getProgress ()는 매퍼가 입력 파일을 통해 진행하고있다 얼마나 멀리 반환합니다. 작업을 줄이기 위해, 계산은 덜 간단합니다. 이 문서는 꽤 좋은 설명이있다.
from https://stackoverflow.com/questions/15720050/hadoop-task-progress by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡지도에서 엑셀 파일을 읽기 감소 (0) | 2019.09.26 |
---|---|
[HADOOP] AWS 액세스 키 ID는 하둡 FS -cp 명령에 실패 (0) | 2019.09.26 |
[HADOOP] 분할 하이브 테이블 Sqoop을 수출 (0) | 2019.09.26 |
[HADOOP] 하둡 맵리 듀스는 감소 호출의 입력 값을 반복 (0) | 2019.09.26 |
[HADOOP] 돼지 : 하둡 작업 실패 (0) | 2019.09.25 |