[HADOOP] 어떻게 하둡의 각 단계 (지도, 셔플 / 정렬 감소)의 지속 시간을 측정 할 수있다?

어떻게 하둡의 각 단계 (지도, 셔플 / 정렬 감소)의 지속 시간을 측정 할 수있다?

지도, 셔플 / 정렬을 실행하고 단계를 줄일 하둡. 나는 각 단계의 기간을 알고 싶어요. 내 말은, 그들은 시간을합니까?

나는 문서를 많이 검색 한하지만 명확한 해결책을 찾을 수 없습니다. 예를 들어, 나는 구성 파일을 설정하고 하둡 프로파일을 사용하려면 프로파일을 할 수 있습니다. 그러나 결과 파일 "java.hprof.txt"이 생성되지 않습니다. 또한, 나는 결과 파일이 내가 원하는 정보가 포함 모르겠어요.

당신이 나를 도와 드릴까요?

해결법

1. ==============================

   1.작업의 진행 상황을 추적하는 한 가지 방법은 하둡에서 제공하는 웹 UI에서 찾고있다. 기본적으로는 HTTP에서 볼 수 있습니다 : // 서버 ADRESS : 50030 / jobtracker.jsp.

   작업의 진행 상황을 추적하는 한 가지 방법은 하둡에서 제공하는 웹 UI에서 찾고있다. 기본적으로는 HTTP에서 볼 수 있습니다 : // 서버 ADRESS : 50030 / jobtracker.jsp.

   거기 당신은 작업 실행 시간, 작업 진행률보기 로그 및 다른 많은 userful 도구에 대한 정보를 찾을 수 있습니다.

2. ==============================

   2.당신은 웹 UI에서 사용할 수있는 JobTracker에의 작업 기록 로그에 모든 정보를 찾을 수 있습니다. 이 작업이 실행 중일 때 표시되는 UI 다릅니다. 이 별도로 각 단계의 시간을 찾을 수 있습니다.

   당신은 웹 UI에서 사용할 수있는 JobTracker에의 작업 기록 로그에 모든 정보를 찾을 수 있습니다. 이 작업이 실행 중일 때 표시되는 UI 다릅니다. 이 별도로 각 단계의 시간을 찾을 수 있습니다.

from https://stackoverflow.com/questions/22188887/how-can-i-measure-the-duration-of-each-phasemap-shuffle-sort-reduce-in-hadoo by cc-by-sa and MIT license