[HADOOP] JobTracker를 UI는 하둡 작업의 진행률을 표시하지

JobTracker를 UI는 하둡 작업의 진행률을 표시하지

나는 단일 노드 클러스터에서 내 MR 작업을 테스트입니다. 나는 코끼리 조련사를 설치하면 구 버전 맵리 듀스 작업은 JobTracker의 진행 상황을 보여주는 중단했다. (즉, 코끼리 조련사 설치 후 일어난 경우 그나마 알고)

내 하둡 클러스터에 작업을 실행 어느 때 늘 같은 작업 테커 UI의 상태를 표시 (코끼리 조련사 로그와 유사) 이전 콘솔에 표시하는 실행 로그는 다르다

왜 그래야만하지?

미리 감사드립니다.

해결법

1. ==============================

   1.대부분의 아마 작업이 LocalJobRunner를 사용하여 실행 할 수 있습니다. 작업이 LocalJobRunner를 사용하는 경우에는 맵리 듀스 작업 출력에 mapred.LocalJobRunner 이벤트를 알 수 있습니다. 이 이유 중 몇의 수 :

   대부분의 아마 작업이 LocalJobRunner를 사용하여 실행 할 수 있습니다. 작업이 LocalJobRunner를 사용하는 경우에는 맵리 듀스 작업 출력에 mapred.LocalJobRunner 이벤트를 알 수 있습니다. 이 이유 중 몇의 수 :

   맵리 듀스 (V1)의 경우 :

   당신의 mapred-site.xml의이 속성 mapred.job.tracker을 가지고 있으며, JobTracker에 호스트와 포트를 적절한 가리키는되어 있는지 확인합니다 :

   <property>  
     <name>mapred.job.tracker</name>  
     <value>[fqdn_of_jobtracker]:[port_of_jobtracker]</value>  
   </property>
   

   하둡은 속성 mapreduce.framework.name를 읽을 수없는 경우 또는 속성이 지역에 설정되어있는 경우 일반적으로, LocalJobRunner는 맵리 듀스에 의해 선택이 끝난 것입니다.

   이 밖으로 이동하지 않는 경우처럼 하둡의 일반적인 명령 행 옵션을 사용하여 속성을 명시 적으로 지정하는 시도 :

   hadoop jar hadoop-examples.jar pi -jt [fqdn_of_jt]:[port_of_jt] 2 1000
   

   원사 및 맵리 듀스 V2의 경우 :

   당신이이 경우에 원사의 상단에 맵리 듀스를 실행하는 경우, 작업은 mapred-site.xml 파일에있는 맵리 듀스 프레임 워크의 이름을 지정하지 않은 경우 LocalJobRunner에 의해 실행, 그래서 당신은 다음과 같은 속성을 가지고 있는지 확인 될 것이다 :

   <property>  
     <name>mapreduce.framework.name</name>  
     <value>yarn</value>  
   </property>
   

from https://stackoverflow.com/questions/26836995/jobtracker-ui-not-showing-progress-of-hadoop-job by cc-by-sa and MIT license