[HADOOP] 워드 카운트 프로그램이 hadoop-2.3.0에서 멈췄다.
HADOOP워드 카운트 프로그램이 hadoop-2.3.0에서 멈췄다.
hadoop-2.3.0을 설치하고 wordcount 예제를 실행하려고했습니다. 그러나 그것은 일을 시작하고 공회에 앉는다.
hadoop@ubuntu:~$ $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar wordcount /myprg outputfile1
14/04/30 13:20:40 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
14/04/30 13:20:51 INFO input.FileInputFormat: Total input paths to process : 1
14/04/30 13:20:53 INFO mapreduce.JobSubmitter: number of splits:1
14/04/30 13:21:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1398885280814_0004
14/04/30 13:21:07 INFO impl.YarnClientImpl: Submitted application application_1398885280814_0004
14/04/30 13:21:09 INFO mapreduce.Job: The url to track the job: http://ubuntu:8088/proxy/application_1398885280814_0004/
14/04/30 13:21:09 INFO mapreduce.Job: Running job: job_1398885280814_0004
작업 추적을위한 url : application_1398885280814_0004 /
이전 버전에서는 그런 문제가 발생하지 않았습니다. 이전 버전에서 hadoop 단어 수를 실행할 수있었습니다. 나는 hadoop-2.3.0을 설치하기 위해이 단계들을 따른다.
제발 제안해라.
해결법
-
==============================
1.YARN으로 전환하는 동안 나는 똑같은 상황을 겪었습니다. 기본적으로 MRv1에는 작업 슬롯 개념이, MRv2에는 컨테이너 개념이 있습니다. 이 두 가지 방법은 작업이 노드에서 예약되고 실행되는 방식이 매우 다릅니다.
YARN으로 전환하는 동안 나는 똑같은 상황을 겪었습니다. 기본적으로 MRv1에는 작업 슬롯 개념이, MRv2에는 컨테이너 개념이 있습니다. 이 두 가지 방법은 작업이 노드에서 예약되고 실행되는 방식이 매우 다릅니다.
귀하의 직업이 막힌 이유는 그것이 컨테이너를 찾거나 시작할 수 없다는 것입니다. Resource Manager / Application Master 등의 데몬의 전체 로그를 보면 새로운 컨테이너를 할당하기 시작한 후에 아무 것도하지 않을 수 있습니다.
이 문제를 해결하려면 yarn-site.xml 및 mapred-site.xml에서 메모리 설정을 조정해야합니다. 같은 것을하고있는 동안, 나는 이것을 발견했고이 튜토리얼은 특히 도움이되었다. 아주 기본적인 메모리 설정으로 시도하고 나중에 최적화하는 것이 좋습니다. 먼저 단어 수를 확인한 다음 다른 복잡한 단어로 이동하십시오.
-
==============================
2.나는 같은 문제에 직면했다. 내 yarn-site.xml에 다음 속성을 추가하고 문제를 해결했다.
나는 같은 문제에 직면했다. 내 yarn-site.xml에 다음 속성을 추가하고 문제를 해결했다.
<property> <name>yarn.resourcemanager.hostname</name> <value>Hostname-of-your-RM</value> <description>The hostname of the RM.</description> </property>리소스 관리자 호스트 이름이 없으면 각 노드는 기본적으로 로컬 리소스 관리자를 찾기 위해 시도 할 것이므로 리소스를 마스터 노드에 알리지 않으므로 다중 노드 설정에서 문제가 발생합니다. 따라서 Map Reduce 실행 요청은 아마도 요청이 마스터에 전송되고 마스터가 슬레이브 슬롯에 대해 알지 못하기 때문에 실행할 맵퍼를 찾지 못했을 것입니다.
참조 : http://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/
from https://stackoverflow.com/questions/23397763/wordcount-program-is-stuck-in-hadoop-2-3-0 by cc-by-sa and MIT license