[HADOOP] 설치 및 구성에 하둡 문제

설치 및 구성에 하둡 문제

나는 그것이 다음과 같은 오류 메시지가 표시되고 start-dfs.sh 시작하려고 할 때 하둡을 설치 한 후.

나는 내가 사용하고 있기 때문에 WARN이 많이 검색 및 발견 우분투 64 비트 OS와 하둡은 32 비트에 대해 컴파일됩니다. 그래서 그 아니라 문제에 작동합니다.

그러나 잘못된 구성은 내가 걱정입니다 무언가이다. 기본 및 보조 namenodes을 시작할 수 또한 수 없습니다.

sameer@sameer-Compaq-610:~$ start-dfs.sh
15/07/27 07:47:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
Starting namenodes on []
localhost: ssh: connect to host localhost port 22: Connection refused
localhost: ssh: connect to host localhost port 22: Connection refused
Starting secondary namenodes [0.0.0.0]
0.0.0.0: ssh: connect to host 0.0.0.0 port 22: Connection refused**
15/07/27 07:47:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

내 현재의 구성 :     HDFS-site.xml 파일

<configuration>

 <property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/sameer/mydata/hdfs/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/sameer/mydata/hdfs/datanode</value>
 </property>

</configuration>

core-site.xml
<configuration>
   <property>
      <name>fs.default.name </name>
      <value> hdfs://localhost:9000 </value> 
   </property>
</configuration>

yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
   </property>
   <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

mapred-site.xml

<configuration>
   <property> 
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

내가 구성의 잘못 또는 다른 곳에서 일을하고 무엇을 찾아주세요.?

감사, 샘

해결법

1. ==============================

   1.하나의 문제는 핵심-site.xml의 구성에서 공간입니다. fs.default.name 속성에 선행 및 후행 공백을 제거합니다.

   하나의 문제는 핵심-site.xml의 구성에서 공간입니다. fs.default.name 속성에 선행 및 후행 공백을 제거합니다.

   <configuration>
      <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value> 
      </property>
   </configuration>
   

   또 다른 문제는 SSH 서비스가 컴퓨터에서 실행되지이다. 이 필요한 서비스를하지 않습니다. start-all.sh, stop-all.sh, start-dfs.sh 등 스크립트는 SSH를 필요로한다. 그래서 더 그런를 설치합니다. 설치하고 다음 명령을 오픈 SSH 서버를 시작할 수 있습니다.

   sudo apt-get install openssh-server
   sudo /etc/init.d/ssh restart
   

   그런 다음 서비스가 실행 여부 확인. 실행중인 경우, 다음 명령은 어떤 결과를 반환합니다.

   netstat -tulpn | grep 22
   

   SSH는 hadoop-daemon.sh 시작을 사용하는 것없이 대안 하둡 시작시 [데몬 이름]

2. ==============================

   2.아마 당신은 OpenSSH의 서버를 설치해야합니다. 이 링크가 도움이되기를 바랍니다 :

   아마 당신은 OpenSSH의 서버를 설치해야합니다. 이 링크가 도움이되기를 바랍니다 :

   https://sites.google.com/site/randomt3ch/home/connect-to-host-localhost-port-22-connection-refused

from https://stackoverflow.com/questions/31644295/hadoop-issue-in-installation-and-configuration by cc-by-sa and MIT license