[HADOOP] Hadoop : ResourceManager에 연결하지 못했습니다.
HADOOPHadoop : ResourceManager에 연결하지 못했습니다.
hadoop 2.2를 설치하고 파이프를 실행하려고 시도하면 exampleive에 folowing 오류가 발생합니다 (동일한 오류는 hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt / out을 실행하려고 시도한 후에 나타납니다).
/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.java.recordreader=true -Dhadoop.pipes.java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
내 yarn-site.xml :
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>
core-site.xml :
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml :
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
hdfs-site.xml :
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>
필자는 내 IPv6이 정상적으로 작동하지 않는다는 것을 알아 냈습니다. 어쩌면 내 / etc / hosts가 정확하지 않을 수 있습니까?
/ etc / hosts :
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt 356114
::1 localhost ip6-localhost ip6-loopback
해결법
-
==============================
1.원사 -site.xml에 몇 가지 속성을 추가해야하기 때문에 리소스 관리자를 연결하는 문제가있었습니다.
원사 -site.xml에 몇 가지 속성을 추가해야하기 때문에 리소스 관리자를 연결하는 문제가있었습니다.
<property> <name>yarn.resourcemanager.address</name> <value>127.0.0.1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>127.0.0.1:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>127.0.0.1:8031</value> </property>
아직 잡스가 작동하지 않고 연결이 성공했습니다.
-
==============================
2.원사를 시작했는지 확인하십시오. 시작하려면이 명령을 사용하십시오.
원사를 시작했는지 확인하십시오. 시작하려면이 명령을 사용하십시오.
그런 다음이 명령을 사용하여 Resource Manager가 실행 중인지 확인하십시오.
출력은 다음과 같이 보일 것입니다 :
-
==============================
3.적절한 방법은 yarn-site.xml에 다음 줄을 추가하는 것입니다.
적절한 방법은 yarn-site.xml에 다음 줄을 추가하는 것입니다.
<property> <name>yarn.resourcemanager.hostname</name> <value>127.0.0.1</value> </property>
value 필드 호스트는 모든 yarn.resourcemanager * 주소 자원을 설정하는 대신 설정할 수있는 단일 호스트 이름을 나타 내기 때문입니다. ResourceManager 구성 요소에 대한 기본 포트가 생성됩니다.
Apache Hadoop 2.7.1 - ResourceManager 구성
-
==============================
4.나는 똑같은 문제에 직면했다. 나는 그것을 해결했다.
나는 똑같은 문제에 직면했다. 나는 그것을 해결했다.
ResourceManager에 연결하는 데 문제가 있으므로 Yarn이 실행 중인지 확인하십시오. 원 사는 서로 다른 실체로 나뉘어져 있습니다. 그 중 하나는 클러스터에서 실행중인 다양한 응용 프로그램에 자원을 할당하는 ResourceManager입니다.
다음 단계를 수행하십시오.
<property> <name>yarn.resourcemanager.address</name> <value>127.0.0.1:8032</value> </property>
-
==============================
5.yarn-site.xml에서 값을 127.0.0.1:*로 변경하여 동일한 문제를 해결했습니다.
yarn-site.xml에서 값을 127.0.0.1:*로 변경하여 동일한 문제를 해결했습니다.
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>127.0.0.1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>127.0.0.1:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>127.0.0.1:8031</value> </property>
-
==============================
6.
Configuration conf = HBaseConfiguration.create(); conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");
conf에서 yarn.resourcemanager.address를 설정할 수 있습니다.
-
==============================
7.이 문제점은 MapReduce 응용 프로그램이 yarn-site.xml에 언급 된 자원 관리자에 연결하는 데 필요한 HADOOP_CONF_DIR 누락으로 인한 것일 수 있습니다. 따라서 MapReduce 작업을 실행하기 전에 export HADOOP_CONF_DIR = / etc / hadoop / conf와 같은 적절한 Hadoop Conf 디렉토리를 사용하여 수동으로 HADOOP_CONF_DIR을 설정 / 내보내기하십시오. 이 방법은 나를 위해 일했습니다 :)
이 문제점은 MapReduce 응용 프로그램이 yarn-site.xml에 언급 된 자원 관리자에 연결하는 데 필요한 HADOOP_CONF_DIR 누락으로 인한 것일 수 있습니다. 따라서 MapReduce 작업을 실행하기 전에 export HADOOP_CONF_DIR = / etc / hadoop / conf와 같은 적절한 Hadoop Conf 디렉토리를 사용하여 수동으로 HADOOP_CONF_DIR을 설정 / 내보내기하십시오. 이 방법은 나를 위해 일했습니다 :)
-
==============================
8.아래의 / etc / hosts 설정을 사용하여 your_host_name 대신 호스트 이름을 추가하십시오.
아래의 / etc / hosts 설정을 사용하여 your_host_name 대신 호스트 이름을 추가하십시오.
127.0.0.1 localhost 127.0.0.1 your_host_name
from https://stackoverflow.com/questions/20586920/hadoop-connecting-to-resourcemanager-failed by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop에서 파일에 대한 블록 수보기 (0) | 2019.06.07 |
---|---|
[HADOOP] -hivevar와 -hiveconf의 차이점은 무엇입니까? (0) | 2019.06.07 |
[HADOOP] 사용자 정의 Hadoop 유형에 대한 ArrayWritable 구현 (0) | 2019.06.07 |
[HADOOP] mapreduce의 반복자 조작하기 (0) | 2019.06.07 |
[HADOOP] Hadoop - 복합 키 (0) | 2019.06.07 |