[HADOOP] 지도 취한 CPU 시간을 찾는 방법 / 하둡에서 작업을 감소

지도 취한 CPU 시간을 찾는 방법 / 하둡에서 작업을 감소

나는 하둡 스케줄러를 쓰고 있어요. 내 일정은 각지도 취한 CPU 시간을 찾을 필요 / 작업을 줄일 수 있습니다.

나도 알아 :

해결법

1. ==============================

   1.나는 CPU 사용량 / IDLE 시간, 스왑 사용량과 메모리 사용량과 같은 자원 통계를 기록하는 라이브러리를 사용하고 있습니다.

   나는 CPU 사용량 / IDLE 시간, 스왑 사용량과 메모리 사용량과 같은 자원 통계를 기록하는 라이브러리를 사용하고 있습니다.

   http://code.google.com/p/hadoop-toolkit/

   당신은 패치를 추출하고 20.2 태그 버전에 적용해야합니다.

   I am not entirely clear if this is what I want.
   

   나는이 방법뿐만 아니라 벽 시계 시간을 반환 확신합니다.

2. ==============================

   2.그냥 후손, 나는 SRC / mapred / 조직 / 아파치 / 하둡의 변화를 만들어이 문제를 해결 / mapred / TaskLog.java 라인 (572)에 (하둡 0.20.203)

   그냥 후손, 나는 SRC / mapred / 조직 / 아파치 / 하둡의 변화를 만들어이 문제를 해결 / mapred / TaskLog.java 라인 (572)에 (하둡 0.20.203)

   mergedCmd.append("exec setsid 'time' ");    // add 'time'
   

   로그 / userlogs / JOBID / TASKID / 표준 에러 : CPU 시간이 기록됩니다. https://gist.github.com/1984365 : 나는 또한 누적 CPU 시간을 수확하는 스크립트를 작성 작업을 실행하기 전에, 당신은 당신이 있는지 확인해야합니다 :

   rm -rf logs/userlogs/*
   

   스크립트가 작동하도록.

from https://stackoverflow.com/questions/9365812/how-to-find-the-cpu-time-taken-by-a-map-reduce-task-in-hadoop by cc-by-sa and MIT license