[HADOOP] Hadoop : ResourceManager에 연결하지 못했습니다.

Hadoop : ResourceManager에 연결하지 못했습니다.

hadoop 2.2를 설치하고 파이프를 실행하려고 시도하면 exampleive에 folowing 오류가 발생합니다 (동일한 오류는 hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt / out을 실행하려고 시도한 후에 나타납니다).

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.java.recordreader=true -Dhadoop.pipes.java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

내 yarn-site.xml :

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

core-site.xml :

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

mapred-site.xml :

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

hdfs-site.xml :

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

필자는 내 IPv6이 정상적으로 작동하지 않는다는 것을 알아 냈습니다. 어쩌면 내 / etc / hosts가 정확하지 않을 수 있습니까?

/ etc / hosts :

fe00::0         ip6-localnet
ff00::0         ip6-mcastprefix
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt  356114
::1             localhost ip6-localhost ip6-loopback

해결법

1. ==============================

   1.원사 -site.xml에 몇 가지 속성을 추가해야하기 때문에 리소스 관리자를 연결하는 문제가있었습니다.

   원사 -site.xml에 몇 가지 속성을 추가해야하기 때문에 리소스 관리자를 연결하는 문제가있었습니다.

   <property>
   <name>yarn.resourcemanager.address</name>
   <value>127.0.0.1:8032</value>
   </property>
   <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>127.0.0.1:8030</value>
   </property>
   <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>127.0.0.1:8031</value>
   </property>
   

   아직 잡스가 작동하지 않고 연결이 성공했습니다.

2. ==============================

   2.원사를 시작했는지 확인하십시오. 시작하려면이 명령을 사용하십시오.

   원사를 시작했는지 확인하십시오. 시작하려면이 명령을 사용하십시오.

   그런 다음이 명령을 사용하여 Resource Manager가 실행 중인지 확인하십시오.

   출력은 다음과 같이 보일 것입니다 :

3. ==============================

   3.적절한 방법은 yarn-site.xml에 다음 줄을 추가하는 것입니다.

   적절한 방법은 yarn-site.xml에 다음 줄을 추가하는 것입니다.

   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>127.0.0.1</value>
   </property>
   

   value 필드 호스트는 모든 yarn.resourcemanager * 주소 자원을 설정하는 대신 설정할 수있는 단일 호스트 이름을 나타 내기 때문입니다. ResourceManager 구성 요소에 대한 기본 포트가 생성됩니다.

   Apache Hadoop 2.7.1 - ResourceManager 구성

4. ==============================

   4.나는 똑같은 문제에 직면했다. 나는 그것을 해결했다.

   나는 똑같은 문제에 직면했다. 나는 그것을 해결했다.

   ResourceManager에 연결하는 데 문제가 있으므로 Yarn이 실행 중인지 확인하십시오. 원 사는 서로 다른 실체로 나뉘어져 있습니다. 그 중 하나는 클러스터에서 실행중인 다양한 응용 프로그램에 자원을 할당하는 ResourceManager입니다.

   다음 단계를 수행하십시오.

   <property>
       <name>yarn.resourcemanager.address</name>
       <value>127.0.0.1:8032</value>
   </property>
   

5. ==============================

   5.yarn-site.xml에서 값을 127.0.0.1:*로 변경하여 동일한 문제를 해결했습니다.

   yarn-site.xml에서 값을 127.0.0.1:*로 변경하여 동일한 문제를 해결했습니다.

   <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
       <name>yarn.resourcemanager.address</name>
       <value>127.0.0.1:8032</value>
        </property>
         <property>
       <name>yarn.resourcemanager.scheduler.address</name>
       <value>127.0.0.1:8030</value>
        </property>
       <property>
       <name>yarn.resourcemanager.resource-tracker.address</name>
       <value>127.0.0.1:8031</value>
        </property>
   

6. ==============================

   6.

   Configuration conf = HBaseConfiguration.create();
    conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");
   

   conf에서 yarn.resourcemanager.address를 설정할 수 있습니다.

7. ==============================

   7.이 문제점은 MapReduce 응용 프로그램이 yarn-site.xml에 언급 된 자원 관리자에 연결하는 데 필요한 HADOOP_CONF_DIR 누락으로 인한 것일 수 있습니다. 따라서 MapReduce 작업을 실행하기 전에 export HADOOP_CONF_DIR = / etc / hadoop / conf와 같은 적절한 Hadoop Conf 디렉토리를 사용하여 수동으로 HADOOP_CONF_DIR을 설정 / 내보내기하십시오. 이 방법은 나를 위해 일했습니다 :)

   이 문제점은 MapReduce 응용 프로그램이 yarn-site.xml에 언급 된 자원 관리자에 연결하는 데 필요한 HADOOP_CONF_DIR 누락으로 인한 것일 수 있습니다. 따라서 MapReduce 작업을 실행하기 전에 export HADOOP_CONF_DIR = / etc / hadoop / conf와 같은 적절한 Hadoop Conf 디렉토리를 사용하여 수동으로 HADOOP_CONF_DIR을 설정 / 내보내기하십시오. 이 방법은 나를 위해 일했습니다 :)

8. ==============================

   8.아래의 / etc / hosts 설정을 사용하여 your_host_name 대신 호스트 이름을 추가하십시오.

   아래의 / etc / hosts 설정을 사용하여 your_host_name 대신 호스트 이름을 추가하십시오.

   127.0.0.1   localhost
   127.0.0.1   your_host_name
   

from https://stackoverflow.com/questions/20586920/hadoop-connecting-to-resourcemanager-failed by cc-by-sa and MIT license