[HADOOP] MapReduce 작업이 수락 됨 상태에서 멈춤

MapReduce 작업이 수락 됨 상태에서 멈춤

내가 실행하려고하는 자체 MapReduce 코드가 있지만 Accepted 상태로 유지됩니다. 내가 이전에 실행했고 성공한 다른 샘플 MR 작업을 실행 해 보았습니다. 하지만 이제는 두 가지 작업이 수락 됨 상태가됩니다. 나는 여기서 언급 한 바와 같이 mapred-site.xml과 yarn-site.xml에서 다양한 속성을 변경하려고 시도했지만 그 역시 도움이되지 못했습니다. 누군가 잘못 될 가능성이 있음을 지적하십시오. hadoop-2.2.0을 사용하고 있습니다.

나는 다양한 속성에 대해 많은 값을 시도했다. 여기에는 하나의 값 집합이있다. mapred-site.xml에서

<property>
<name>mapreduce.job.tracker</name>
<value>localhost:54311</value>
</property> 

<property>
<name>mapreduce.job.tracker.reserved.physicalmemory.mb</name>
<value></value>
</property>

<property>
<name>mapreduce.map.memory.mb</name>
<value>256</value>
</property>

<property>
<name>mapreduce.reduce.memory.mb</name>
<value>256</value>
</property>


<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>400</value>
<source>mapred-site.xml</source>
</property>

yarn-site.xml에서

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>400</value>
<source>yarn-site.xml</source>
</property>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>.3</value>
</property>

해결법

1. ==============================

   1.나는 동일한 효과를 얻었으며 시스템에 작업자 노드 당 더 많은 메모리를 사용할 수 있고 도움이 된 응용 프로그램에 필요한 메모리를 줄일 수 있다는 것을 알았습니다.

   나는 동일한 효과를 얻었으며 시스템에 작업자 노드 당 더 많은 메모리를 사용할 수 있고 도움이 된 응용 프로그램에 필요한 메모리를 줄일 수 있다는 것을 알았습니다.

   내 yarn-site.xml에있는 (아주 작은 실험 상자에서) 설정은 다음과 같습니다.

   <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>2200</value>
     <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
   </property>
   
   <property>
     <name>yarn.scheduler.minimum-allocation-mb</name>
     <value>500</value>
   </property>
   

2. ==============================

   2.같은 문제가 있었는데, 나에게는 문제가되는 전체 하드 드라이브 (> 90 % 이상)였습니다. 청소 공간이 나를 구 했어요.

   같은 문제가 있었는데, 나에게는 문제가되는 전체 하드 드라이브 (> 90 % 이상)였습니다. 청소 공간이 나를 구 했어요.

3. ==============================

   3.YARN에서 수락 된 상태로 멈춘 작업은 일반적으로 무료 리소스로는 충분하지 않기 때문에 발생합니다. http : // resourcemanager : port / cluster / scheduler에서 확인할 수 있습니다.

   YARN에서 수락 된 상태로 멈춘 작업은 일반적으로 무료 리소스로는 충분하지 않기 때문에 발생합니다. http : // resourcemanager : port / cluster / scheduler에서 확인할 수 있습니다.

   maxAMShare와 같은 매개 변수에 의해 제한 될 수도 있습니다.

4. ==============================

   4.블로그 (http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/)를 따르십시오.

   블로그 (http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/)를 따르십시오.

   이것은 YARN 컨테이너에 대한 매개 변수를 설정하는 방법을 자세히 설명합니다.

5. ==============================

   5.나는 똑같은 문제에 직면했다. 그리고 위의 답변에서 언급 한 모든 구성을 변경했지만 여전히 유용하지 않았습니다. 이 후, 나는 나의 클러스터의 건강을 재확인했다. 그곳에서, 나는 유일한 노드가 건강에 좋지 않은 상태에 있다는 것을 관찰했다. 문제는 / tmp / hadoop-hadoopUser / nm-local-dir 디렉토리의 디스크 공간 부족 때문이었습니다. 포트 8032의 리소스 관리자 웹 UI에서 노드 상태를 확인하여 동일하게 확인할 수 있습니다.이를 해결하기 위해 yarn-site.xml에서 below 속성을 추가했습니다.

   나는 똑같은 문제에 직면했다. 그리고 위의 답변에서 언급 한 모든 구성을 변경했지만 여전히 유용하지 않았습니다. 이 후, 나는 나의 클러스터의 건강을 재확인했다. 그곳에서, 나는 유일한 노드가 건강에 좋지 않은 상태에 있다는 것을 관찰했다. 문제는 / tmp / hadoop-hadoopUser / nm-local-dir 디렉토리의 디스크 공간 부족 때문이었습니다. 포트 8032의 리소스 관리자 웹 UI에서 노드 상태를 확인하여 동일하게 확인할 수 있습니다.이를 해결하기 위해 yarn-site.xml에서 below 속성을 추가했습니다.

   <property>
       <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
       <value>98.5</value>
   </property>
   

   hadoop 데몬을 다시 시작한 후 노드 상태가 정상으로 변경되고 작업이 실행되기 시작했습니다.

6. ==============================

   6.Hadoop 3.0.1을 사용하고 있습니다. 제출 한지도 축소 작업이 ResourceManager 웹 UI의 ACCEPTED 상태에 머물러있는 것과 같은 문제에 직면했습니다. 동일한 ResourceManager 웹 UI의 Cluster metrics -> Memory used was 0 총 메모리는 0이었습니다. Cluster Node Metrics -> Active Nodes는 0이었습니다. NamedNode 웹 UI가 데이터 노드를 완벽하게 나열했습니다. 클러스터의 실 태닝 노드 목록에 노드 관리자가 표시되지 않았습니다. 노드 관리자가 실행 중이 지 않은 것으로 나타납니다. NodeManager를 시작한 후 새로 제출 된지도 감면 작업이 더 진행될 수 있습니다. 더 이상 ACCEPTED 상태에 머물러 서 "RUNNING"상태가되지 않았습니다.

   Hadoop 3.0.1을 사용하고 있습니다. 제출 한지도 축소 작업이 ResourceManager 웹 UI의 ACCEPTED 상태에 머물러있는 것과 같은 문제에 직면했습니다. 동일한 ResourceManager 웹 UI의 Cluster metrics -> Memory used was 0 총 메모리는 0이었습니다. Cluster Node Metrics -> Active Nodes는 0이었습니다. NamedNode 웹 UI가 데이터 노드를 완벽하게 나열했습니다. 클러스터의 실 태닝 노드 목록에 노드 관리자가 표시되지 않았습니다. 노드 관리자가 실행 중이 지 않은 것으로 나타납니다. NodeManager를 시작한 후 새로 제출 된지도 감면 작업이 더 진행될 수 있습니다. 더 이상 ACCEPTED 상태에 머물러 서 "RUNNING"상태가되지 않았습니다.

7. ==============================

   7.yarn-site.xml의 마스터 노드 호스트 이름에 yarn.resourcemanager.hostname 속성을 추가하고이 파일을이 구성을 반영하도록 클러스터의 모든 노드에 복사하면 문제가 해결됩니다.

   yarn-site.xml의 마스터 노드 호스트 이름에 yarn.resourcemanager.hostname 속성을 추가하고이 파일을이 구성을 반영하도록 클러스터의 모든 노드에 복사하면 문제가 해결됩니다.

from https://stackoverflow.com/questions/20200636/mapreduce-jobs-get-stuck-in-accepted-state by cc-by-sa and MIT license