[HADOOP] Amazon EMR에서 HDFS를 다시 시작하는 방법

Amazon EMR에서 HDFS를 다시 시작하는 방법

Amazon EMR 클러스터에서 HDFS 설정을 일부 변경했습니다. 변경 사항을 적용하기 위해 네임 노드와 데이터 노드를 다시 시작하고 싶습니다. namenode (master) 또는 datanodes에서 시작 및 중지 스크립트를 찾을 수 없습니다. 클러스터를 다시 시작하는 방법은 무엇입니까?

해결법

1. ==============================

   1.EMR4에서 마스터 호스트에서 다음을 실행하십시오.

   EMR4에서 마스터 호스트에서 다음을 실행하십시오.

   sudo /sbin/start hadoop-hdfs-namenode
   ssh -i <key.pem> <slave-hostname1> "sudo /sbin/restart  hadoop-hdfs-datanode"
   ssh -i <key.pem> <slave-hostname2> "sudo /sbin/restart  hadoop-hdfs-datanode"
   ssh -i <key.pem> <slave-hostname3> "sudo /sbin/restart  hadoop-hdfs-datanode"
   

2. ==============================

   2.클러스터를 수동으로 다시 시작해야합니다. 수동으로 수행하거나 간단한 셸 스크립트를 사용하여 수행 할 수 있습니다.

   클러스터를 수동으로 다시 시작해야합니다. 수동으로 수행하거나 간단한 셸 스크립트를 사용하여 수행 할 수 있습니다.

   1) 모든 노드의 호스트 이름 또는 IP 주소 목록을 가져옵니다.

   2) 키를 사용하여 노드로 ssh

   3) 필요한 서비스를 다시 시작하십시오.

   프로그래밍에 능숙하면 클러스터 ID를 사용하여 EMR에 해당하는 모든 노드의 ipaddress 목록을 가져오고 개별 노드에서 서비스를 다시 시작하는 일반 유틸리티를 작성할 수 있습니다.

   그렇지 않으면 모든 노드의 호스트 이름 또는 ipaddress를 수동으로 가져 와서 아래와 같은 스크립트를 작성하고 마스터 노드에서 실행하십시오.

   sudo service hadoop-hdfs-namenode restart
   ssh -i <key.pem> <hostname1> "sudo service hadoop-hdfs-datanode restart"
   ssh -i <key.pem> <hostname2> "sudo service hadoop-hdfs-datanode restart"
   ssh -i <key.pem> <hostname3> "sudo service hadoop-hdfs-datanode restart"
   

3. ==============================

   3.EMR 5.x에서 이것은 내가 사용한 것입니다.

   EMR 5.x에서 이것은 내가 사용한 것입니다.

from https://stackoverflow.com/questions/32207723/how-to-restart-hdfs-on-amazon-emr by cc-by-sa and MIT license