[HADOOP] CDH4 및 Yarn을 사용하여 Hadoop 작업 내역 및 로그를 보려면 어떻게합니까?

CDH4 및 Yarn을 사용하여 Hadoop 작업 내역 및 로그를 보려면 어떻게합니까?

Hadoop 용 CDH4 tar를 원사와 함께 다운로드했는데 작업이 잘 돌아가고 있지만 작업 기록을 볼 수있는 위치를 파악할 수 없습니다. MRv1에서는 간단히 JobTracker 웹 앱에 갔고 작업 기록이있었습니다. 개별 작업의 로그는 여기서도 액세스 할 수 있었고 logs / userlogs 디렉토리로 이동하여 액세스 할 수있었습니다.

단일 컴퓨터에서 실행되는 새로운 Yarn 설정에서 logs 디렉토리는 있지만 log / userlogs 폴더는 없습니다.

ResourceManager 웹 페이지 (localhost : 8088)로 이동하면 "All Applications"섹션이 있지만 여기에 항목이 표시되지 않습니다. JobHistory 웹 페이지 인 localhost : 19888로 이동하면 나열된 작업이 없습니다.

구성 문제가 있는지 궁금합니다. 다음은 내 yarn-site.xml 항목입니다.

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

무엇을 디버깅해야하는지에 대한 정보를 얻으실 수 있습니다.

업데이트 : nodemanager 로그 디렉터리를 검사했고 비어 있습니다. 또한 jobhistory 디렉토리는 비어 있습니다. 하나의 이상한 점은 Hadoop이 알려주는 것입니다. INFO mapreduce.Job : 작업 추적 URL : http : // localhost : 8080 /, 브라우저에서 시도 할 때 해당 주소를 사용할 수 없습니다.

업데이트 # 2 : 나는 각 작업이 동일한 작업 ID ( "job_local_0001")를 가지고 있음을 확인했습니다. 이것은 어딘가에 구성 문제처럼 보입니다.

해결법

1. ==============================

   1.여기에있는 일자리가 YARN이 아닌 지역에서 운영되는 것처럼 들립니다. YARN에서 작업을 실행하려면 mapred-site.xml에 다음 작업이 있는지 확인하십시오.

   여기에있는 일자리가 YARN이 아닌 지역에서 운영되는 것처럼 들립니다. YARN에서 작업을 실행하려면 mapred-site.xml에 다음 작업이 있는지 확인하십시오.

   <property>
     <name> mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
   

   일반적으로 cdh 사용자 메일 링리스트를 이메일로 보내면 이와 같은 질문에 더 빨리 응답 할 수 있습니다.

2. ==============================

   2.mapred-site.xml 파일에 다음 구성을 추가하십시오.

   mapred-site.xml 파일에 다음 구성을 추가하십시오.

   <property>
     <name> mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
   <property> 
     <name>mapreduce.jobhistory.address</name>
     <value>localhost:10020</value> 
   </property>
   <property> 
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>localhost:19888</value> 
   </property>
   

   yarn-site.xml에 넣은 것처럼 구직 활동 특정 구성을 제거하십시오. yarn-site.xml의 마지막 두 configs 위

from https://stackoverflow.com/questions/13656138/how-do-i-view-my-hadoop-job-history-and-logs-using-cdh4-and-yarn by cc-by-sa and MIT license