[HADOOP] 프라이빗 클라우드에서 Cloudera Manager를 사용하는 HDFS

프라이빗 클라우드에서 Cloudera Manager를 사용하는 HDFS

이것은 나를 미치게합니다. 나는 이것을 며칠 동안 노력해 왔으며이 문제를 해결할 수없는 것 같습니다. 테스트를 위해 유칼립투스에서 실행되는 프라이빗 클라우드와 Ubuntu 12.04를 실행하는 4 개의 VM이 있습니다. cloudera가 HDFS를 실행하고 맵 축소를 시도하고 있지만 시작하려고 할 때 데이터 노드가 절대로 이름 노드와 통신 할 수없는 것 같습니다. 그것은 잘 설치하고 모든 사전 실행 검사를 통과합니다. 호스트 파일은 모두 127.0.0.1 localhost와 다른 vms의 ip 및 호스트 이름으로 설정되며 방화벽은 모두 비활성화되며 보안 그룹은 모든 것을 허용하도록 설정됩니다. 이름 노드의 telnet 및 netstat를 사용하여 데이터 노드에서 이름 노드로 8022 포트에 연결할 수 있습니다.

tcp 00 172.31.254.119:9000 0.0.0.0:* 듣기 6519 / python tcp 0 0.0.0.0:7432 0.0.0.0:* 듣기 5672 / 포스트그레스 tcp 00 127.0.0.1:9001 0.0.0.0:* 듣기 6538 / python tcp 00 172.31.254.119:50090 0.0.0.0:* 듣기 8694 / java tcp 0 0.0.0.0:7180 0.0.0.0:* 듣기 5680 / 자바 tcp 0 0.0.0.0:7182 0.0.0.0:* 듣기 5680 / 자바 tcp 00 172.31.254.119:8020 0.0.0.0:* 듣기 8689 / java tcp 00 172.31.254.119:50070 0.0.0.0:* 듣기 8689 / java tcp 00 172.31.254.119:8022 0.0.0.0:* 듣기 8689 / java tcp 0 0.0.0.0:22 0.0.0.0:* 듣기 576 / sshd tcp 00 127.0.0.1:5432 0.0.0.0:* 듣기 5486 / postgres tcp600 :::: 7432 ::: * 듣기 5672 / postgres tcp600 ::: 22 ::: * 듣기 576 / sshd

그러나 내가 계속 얻는 오류는 다음과 같습니다.

이벤트를 게시하지 못했습니다 : SimpleEvent {attributes = {STACKTRACE = [org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException) : 데이터 노드가 네임 노드와의 통신을 거부했습니다 : DatanodeRegistration (172.31.254.110, storageID = DS-1259113373-172.31.254.110-50010-1378398035331, infoPort = 50075, ipcPort = 50020, storageInfo = lv = -40; cid = cluster9; nsid = 46459994; c = 0)

더 많은 Linux / cloudera / eucalyptus 경험을 가진 사람의 조언에 크게 감사드립니다.

모두 감사합니다.

해결법

1. ==============================

   1.루프백을 사용하도록 지정했지만 DN이 자체를 172.31.254.110으로 식별하고 있습니다. 127.0.0.1 대신 적절한 호스트 이름을 사용하십시오. 보다 안전한쪽에 있으려면 각 머신의 호스트 이름과 IP를 다른 모든 머신의 / etc / hosts 파일에 추가하십시오. 문제가 지속되면 구성 파일을 보여주십시오.

   루프백을 사용하도록 지정했지만 DN이 자체를 172.31.254.110으로 식별하고 있습니다. 127.0.0.1 대신 적절한 호스트 이름을 사용하십시오. 보다 안전한쪽에 있으려면 각 머신의 호스트 이름과 IP를 다른 모든 머신의 / etc / hosts 파일에 추가하십시오. 문제가 지속되면 구성 파일을 보여주십시오.

from https://stackoverflow.com/questions/18641938/hdfs-using-cloudera-manager-in-private-cloud by cc-by-sa and MIT license