복붙노트

[HADOOP] emr에서 hadoop 클러스터를 다시 시작하는 방법

HADOOP

emr에서 hadoop 클러스터를 다시 시작하는 방법

Amazon Elastic MapReduce에 hadoop 설치가 있습니다. 클러스터를 다시 시작할 때마다 다음 오류가 발생합니다.

/stop-all.sh
no jobtracker to stop
The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is
Are you sure you want to continue connecting (yes/no)? yes 
localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
localhost: Permission denied (publickey).
no namenode to stop
localhost: Permission denied (publickey).
localhost: Permission denied (publickey).

hadoop을 다시 시작하는 방법에 대한 아이디어가 있습니까?

해결법

  1. ==============================

    1.다음 해킹이 나를 위해 일했습니다.

    다음 해킹이 나를 위해 일했습니다.

    sbin / slaves.sh & sbin / hadoop-daemon.sh의 "ssh"명령을 "ssh -i ~ / .ssh / keyname"으로 바꿨습니다.

  2. ==============================

    2.나는 hadoop 버전 2.4를 사용하고 있으며 이것은 나를 위해 일했다 :

    나는 hadoop 버전 2.4를 사용하고 있으며 이것은 나를 위해 일했다 :

    export HADOOP_SSH_OPTS="-i /home/hadoop/mykey.pem"
    
  3. ==============================

    3.stop-all.sh 스크립트가 작동하려면 stop-all.sh 스크립트를 실행하는 사용자와 동일한 사용자가 모든 시스템에 있어야합니다.

    stop-all.sh 스크립트가 작동하려면 stop-all.sh 스크립트를 실행하는 사용자와 동일한 사용자가 모든 시스템에 있어야합니다.

    또한 stop-all.sh를 실행하는 시스템에서 나머지 시스템에 대해 암호가 적은 ssh 설정이없는 것으로 보입니다. 각 시스템에 대해 개별적으로 암호를 수동으로 입력하지 않아도됩니다. 컴퓨터마다 동일한 사용자의 암호가 다를 수 있습니다. 잊지 마십시오.

  4. from https://stackoverflow.com/questions/18813958/how-to-restart-hadoop-cluster-on-emr by cc-by-sa and MIT license