[HADOOP] 작업 시도의 호스트 이름을 찾을 수 하둡
HADOOP작업 시도의 호스트 이름을 찾을 수 하둡
나는 프로그래밍 방식으로지도 하둡 작업을 줄일 제출할 때 작업을 시도 내 클러스터에있는 tasktracker에서 실행을 결정하려합니다. 나는 그래서 같은 JobClient에서 작업 데이터의 대부분을 얻을 수 있다는 것을 발견했다 :
jobClient.getMapTaskReports (에서는 jobID)
하지만 작업 시도가 성공 시스템의 호스트 이름. 사람이 작업을 시도 ID와 호스트 이름을 얻는 방법을 알고 있나요?
해결법
-
==============================
1.제출 때 JobClient 당신에게 소위 NetworkedJob을 제공합니다. 그것은 getTaskCompletionEvents라는 메소드가 있습니다.
제출 때 JobClient 당신에게 소위 NetworkedJob을 제공합니다. 그것은 getTaskCompletionEvents라는 메소드가 있습니다.
그것은 당신에게 사람들은 작업을 실행 한 tasktracker의 HTTP 주소를 포함, 무슨 일이 있었 TaskCompletionEvent의 배열을 반환합니다.
그 시점에서 당신은 URL에서 호스트를 구문 분석 할 수 있습니다.
from https://stackoverflow.com/questions/14712038/hadoop-find-hostname-of-task-attempt by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Oozie / Sqoop을에 대한 질문 (0) | 2019.09.24 |
---|---|
[HADOOP] HDFS를 실행하면 스칼라 스크립트 내부에서 명령 (0) | 2019.09.24 |
[HADOOP] 극적 장면 : 클라우 데라 하둡에 연결 임팔라를 사용하는 동안 오류 (0) | 2019.09.23 |
[HADOOP] HBase를 연결하는 자바 API를 사용할 때 박히 (0) | 2019.09.23 |
[HADOOP] GZIP 데이터의 압축 / 압축 해제 하둡 / PIG 투명인가? (0) | 2019.09.23 |