[HADOOP] 어떻게 매퍼 출력 바이트 카운터를 얻을 수 있습니다

어떻게 매퍼 출력 바이트 카운터를 얻을 수 있습니다

나는지도 확인되지 않은 금액은 병렬 BFS 최단 경로 알고리즘을 위해 함께 작업을 줄이고 경로를 확인할 수없는 경우, 내 작업 루프가 모든 레코드를 생성 무한없이 체인입니다. 나는이 하둡에 의해 유지되는지도 출력 바이트 카운터를 얻는 것입니다 확인하는 가장 좋은 방법을 생각.

어떻게이 카운터에 액세스 할 수 있습니다?

해결법

1. ==============================

   1.작업 사용에 의해 생성 된지도 출력 바이트 카운터를 얻으려면

   작업 사용에 의해 생성 된지도 출력 바이트 카운터를 얻으려면

   long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();
   

   더 카운터 그룹과 이름을 http://lintool.github.io/Cloud9/docs/content/counters.html를 참조하십시오

from https://stackoverflow.com/questions/18995543/how-to-get-the-mapper-output-byte-counter by cc-by-sa and MIT license