[HADOOP] jobtracker.info 파일은 1 대신에 0 노드로만 복제 될 수있었습니다.

jobtracker.info 파일은 1 대신에 0 노드로만 복제 될 수있었습니다.

Fedora 17에서 Hadoop 클러스터를 설정하려고합니다. /bin/star-all.sh 명령을 내릴 때 데몬은 마스터와 슬레이브 노드에서 시작됩니다. 그러나 마스터 노드의 데이터 노드에 대한 로그 파일을 볼 때 나는 EROOR

나는 또한 wordcound 프로그램을 실행하려고합니다. 명령을 사용하여 HDFS로 데이터를 복사하는 중

$ bin / hadoop dfs -copyFromLocal / home / hadoop1 / Documents / wordcount / / home / hadoop1 / hdfs / data 다음과 같은 오류가 발생합니다.

at org.apache.hadoop.ipc.Client.call(Client.java:1070)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy1.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy1.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)

이 점에서 도움을 주시면 감사하겠습니다 ..

해결법

1. ==============================

   1.나는이 문제를 해결할 수 있었다 ...

   나는이 문제를 해결할 수 있었다 ...

   1 단계) 마스터와 슬레이브 노드 머신에서 방화벽이 활성화되었습니다. 나는 "systemctl disable iptables.service"명령에 따라 비활성화했다.

   2 단계) 나는 슬레이브의 core-sites.xml 설정 파일에서 "hdfs : // localhost : 9100"을 "fs.default.name"에 잘못 지정했다. 나는 그것을 "hdfs : // master : 9100"으로 변경했다.

   이제 내 Hadoop 클러스터가 작동 중입니다.

   친절한 도움을 주신 Chris에게 감사드립니다 ...

2. ==============================

   2.이 오류가 발생한 이유는 디스크 공간이 충분하지 않았기 때문입니다 (~ 200MB로 충분하지 않았습니다).

   이 오류가 발생한 이유는 디스크 공간이 충분하지 않았기 때문입니다 (~ 200MB로 충분하지 않았습니다).

3. ==============================

   3.HDFS에서 jobtracker.info를 삭제하면 작동합니다. 하둡이 다시 만들어 낸 것 같습니다.

   HDFS에서 jobtracker.info를 삭제하면 작동합니다. 하둡이 다시 만들어 낸 것 같습니다.

4. ==============================

   4.이 오류 (내가 만난)에 대한 또 다른 이유 중 하나는 망가진 / etc / hosts 파일로 인해 namenode가 루프백 인터페이스에서만 수신 대기하게됩니다.

   이 오류 (내가 만난)에 대한 또 다른 이유 중 하나는 망가진 / etc / hosts 파일로 인해 namenode가 루프백 인터페이스에서만 수신 대기하게됩니다.

   이로 인해 datanode가 namenode에 연결되지 않고 복제 수준에 부작용이 없었습니다. 자세한 내용은 namenode 연결 거부 버그를 참조하십시오.

from https://stackoverflow.com/questions/15585630/file-jobtracker-info-could-only-be-replicated-to-0-nodes-instead-of-1 by cc-by-sa and MIT license