[HADOOP] 왜 우리는 하둡에서 작업 실행 시간을 계산할 수없는 이유는 무엇입니까?

왜 우리는 하둡에서 작업 실행 시간을 계산할 수없는 이유는 무엇입니까?

내 질문은 낙오자와 관련된 문제입니다. 종류에서는 알고리즘 그리고 우리는 그것의 복잡성을 알고 데이터의 일정한 세트 실행될 때 실행 시간을 계산할 수 있습니다.

왜 우리는 하둡에서 작업 실행 시간을 취득 할 수 있습니까?

우리가 작업 실행 시간 또는 작업 실행 시간을 획득 할 수 있다면, 우리는 낙오자 인 작업을 알고 알고리즘을 필요없이 신속하게 낙오자 작업을 알 수 있습니다.

해결법

1. ==============================

   1.당신은 작업이 해당 작업을 실행하기 전에 소요되는 많은 시간을 추정하지 않아야합니다. 당신의 맵리 듀스 작업을 실행 한 후 소요되는 시간의 추정을 할 수 있습니다. RAM 크기, CPU 코어 및 네트워크 대역폭 - - 얼마나 많은 기어 태스크 설정 맵리 듀스는 항상 클러스터의 용량에 따라 달라집니다.

   당신은 작업이 해당 작업을 실행하기 전에 소요되는 많은 시간을 추정하지 않아야합니다. 당신의 맵리 듀스 작업을 실행 한 후 소요되는 시간의 추정을 할 수 있습니다. RAM 크기, CPU 코어 및 네트워크 대역폭 - - 얼마나 많은 기어 태스크 설정 맵리 듀스는 항상 클러스터의 용량에 따라 달라집니다.

   당신은 입력 분할로 나눈 당신의 RAM 크기에 따라 가정을 만들 수 있습니다.

2. ==============================

   2.작업 실행 시간 또는 작업 실행 시간은 웹 야너 찾고있는 UI가 자사의 원사 기반 설치 URL을 tracker.If 작업의 50030 포트에 availlable 일 무슨입니다 작업 추적기 웹 UI.Hope에서 사용할 수 있습니다 것에 http : // : 8088

   작업 실행 시간 또는 작업 실행 시간은 웹 야너 찾고있는 UI가 자사의 원사 기반 설치 URL을 tracker.If 작업의 50030 포트에 availlable 일 무슨입니다 작업 추적기 웹 UI.Hope에서 사용할 수 있습니다 것에 http : // : 8088

from https://stackoverflow.com/questions/26876261/why-cant-we-calculate-job-execution-time-in-hadoop by cc-by-sa and MIT license