복붙노트

[HADOOP] 작업 시도의 호스트 이름을 찾을 수 하둡

HADOOP

작업 시도의 호스트 이름을 찾을 수 하둡

나는 프로그래밍 방식으로지도 하둡 작업을 줄일 제출할 때 작업을 시도 내 클러스터에있는 tasktracker에서 실행을 결정하려합니다. 나는 그래서 같은 JobClient에서 작업 데이터의 대부분을 얻을 수 있다는 것을 발견했다 :

jobClient.getMapTaskReports (에서는 jobID)

하지만 작업 시도가 성공 시스템의 호스트 이름. 사람이 작업을 시도 ID와 호스트 이름을 얻는 방법을 알고 있나요?

해결법

  1. ==============================

    1.제출 때 JobClient 당신에게 소위 NetworkedJob을 제공합니다. 그것은 getTaskCompletionEvents라는 메소드가 있습니다.

    제출 때 JobClient 당신에게 소위 NetworkedJob을 제공합니다. 그것은 getTaskCompletionEvents라는 메소드가 있습니다.

    그것은 당신에게 사람들은 작업을 실행 한 tasktracker의 HTTP 주소를 포함, 무슨 일이 있었 TaskCompletionEvent의 배열을 반환합니다.

    그 시점에서 당신은 URL에서 호스트를 구문 분석 할 수 있습니다.

  2. from https://stackoverflow.com/questions/14712038/hadoop-find-hostname-of-task-attempt by cc-by-sa and MIT license