[HADOOP] 연결 예외에서 hadoop fs -mkdir이 실패했습니다.
HADOOP연결 예외에서 hadoop fs -mkdir이 실패했습니다.
의사 분산 모드에서 Hadoop을 설정하고 실행하려고했지만 입력 할 때
나는 얻다
여기에 세부 사항이 있습니다
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://h1:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>h1:9001</value>
</property>
<property>
<name>mapred.map.tasks</name>
<value>20</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>4</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>h1:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>h1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>h1:19888</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.http.address</name>
<value>h1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address</name>
<value>h1:9001</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>h1:50090</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/grid/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
/ etc / hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.13 h1
192.168.1.14 h2
192.168.1.15 h3
hadoop namenode 후 -format 및 start-all.sh
1702 ResourceManager
1374 DataNode
1802 NodeManager
2331 Jps
1276 NameNode
1558 SecondaryNameNode
문제가 발생합니다
[grid@h1 hadoop-2.6.0]$ bin/hadoop fs -mkdir input
15/05/13 16:37:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Call From h1/192.168.1.13 to h1:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
문제는 어디에 있습니까?
hadoop-grid-datanode-h1.log
2015-05-12 11:26:20,329 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host = h1/192.168.1.13
STARTUP_MSG: args = []
STARTUP_MSG: version = 2.6.0
hadoop-grid-purpose-h1.log
2015-05-08 16:06:32,561 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = h1/192.168.1.13
STARTUP_MSG: args = []
STARTUP_MSG: version = 2.6.0
왜 포트 9000이 작동하지 않습니까?
[grid@h1 ~]$ netstat -tnl |grep 9000
[grid@h1 ~]$ netstat -tnl |grep 9001
tcp 0 0 192.168.1.13:9001 0.0.0.0:* LISTEN
해결법
-
==============================
1.dfs 및 yarn을 시작하십시오.
dfs 및 yarn을 시작하십시오.
[hadoop @ hadooplab sbin] $ ./start-dfs.sh
[hadoop @ hadooplab sbin] $ ./start-yarn.sh
이제 "bin / hadoop fs -mkdir input"을 사용해보십시오
문제는 일반적으로 VM에 hadoop을 설치 한 다음 종료 할 때 발생합니다. VM을 종료하면 dfs 및 yarn도 중지됩니다. 따라서 VM을 다시 시작할 때마다 dfs 및 yarn을 시작해야합니다.
-
==============================
2.먼저 명령을 시도
먼저 명령을 시도
bin/hadoop dfs -mkdir input
micheal-roll post를 제대로 따른다면 아무런 문제가 없을 것입니다. 비밀번호가없는 ssh가 구성에서 작동하지 않는 것 같습니다. 다시 확인하십시오.
-
==============================
3.다음 절차에 따라 문제가 해결되었습니다.
다음 절차에 따라 문제가 해결되었습니다.
from https://stackoverflow.com/questions/30210893/hadoop-fs-mkdir-failed-on-connection-exception by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 스칼라 형식 불일치 오류를 상속해야합니다 (0) | 2019.09.12 |
---|---|
[HADOOP] 하둡 FileSystem.getFS ()가 약 2 분 동안 일시 중지됨 (0) | 2019.09.12 |
[HADOOP] 원사로 구성된 원격 클러스터에 mapreduce 작업을 제출하는 방법은 무엇입니까? (0) | 2019.09.12 |
[HADOOP] 설명 표는 Hue Hive Avro 형식의 열 주석에 대한 "직렬 디시리얼라이저"를 보여줍니다. (0) | 2019.09.12 |
[HADOOP] 가방 안에 랭크? (0) | 2019.09.12 |