[HADOOP] emr에서 hadoop 클러스터를 다시 시작하는 방법
HADOOPemr에서 hadoop 클러스터를 다시 시작하는 방법
Amazon Elastic MapReduce에 hadoop 설치가 있습니다. 클러스터를 다시 시작할 때마다 다음 오류가 발생합니다.
/stop-all.sh
no jobtracker to stop
The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is
Are you sure you want to continue connecting (yes/no)? yes
localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
localhost: Permission denied (publickey).
no namenode to stop
localhost: Permission denied (publickey).
localhost: Permission denied (publickey).
hadoop을 다시 시작하는 방법에 대한 아이디어가 있습니까?
해결법
-
==============================
1.다음 해킹이 나를 위해 일했습니다.
다음 해킹이 나를 위해 일했습니다.
sbin / slaves.sh & sbin / hadoop-daemon.sh의 "ssh"명령을 "ssh -i ~ / .ssh / keyname"으로 바꿨습니다.
-
==============================
2.나는 hadoop 버전 2.4를 사용하고 있으며 이것은 나를 위해 일했다 :
나는 hadoop 버전 2.4를 사용하고 있으며 이것은 나를 위해 일했다 :
export HADOOP_SSH_OPTS="-i /home/hadoop/mykey.pem"
-
==============================
3.stop-all.sh 스크립트가 작동하려면 stop-all.sh 스크립트를 실행하는 사용자와 동일한 사용자가 모든 시스템에 있어야합니다.
stop-all.sh 스크립트가 작동하려면 stop-all.sh 스크립트를 실행하는 사용자와 동일한 사용자가 모든 시스템에 있어야합니다.
또한 stop-all.sh를 실행하는 시스템에서 나머지 시스템에 대해 암호가 적은 ssh 설정이없는 것으로 보입니다. 각 시스템에 대해 개별적으로 암호를 수동으로 입력하지 않아도됩니다. 컴퓨터마다 동일한 사용자의 암호가 다를 수 있습니다. 잊지 마십시오.
from https://stackoverflow.com/questions/18813958/how-to-restart-hadoop-cluster-on-emr by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] oozie에서 여러 jar 파일을 지정하는 방법 (0) | 2019.08.10 |
---|---|
[HADOOP] 큰 (> 1GB) BytesWritable 값 크기로 SequenceFile을 만들 때 NegativeArraySizeException (0) | 2019.08.10 |
[HADOOP] CSV 파일의 문자열에 큰 따옴표와 함께 하이브 테이블에 삽입 된 값 (0) | 2019.08.10 |
[HADOOP] Hive 오류 : 기본 오류 : org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException : 하나 이상의 인수가 필요합니다 (0) | 2019.08.10 |
[HADOOP] 하둡 : 같은 작업에서 다른 형식을 출력하는 방법? (0) | 2019.08.10 |