[HADOOP] 커맨드 라인과 함께, hadoop 생태계를 시작하고 중지하는 가장 좋은 방법은 무엇입니까?

커맨드 라인과 함께, hadoop 생태계를 시작하고 중지하는 가장 좋은 방법은 무엇입니까?

hadoop 생태계를 시작할 수있는 몇 가지 방법이 있다는 것을 알았습니다.

편집 : 각 명령에 대한 몇 가지 구체적인 사용 사례가있을 것 같아요.

해결법

1. ==============================

   1.start-all.sh & stop-all.sh : hadoop 데몬을 모두 시작하고 중지하는 데 사용됩니다. 마스터 시스템에서이를 실행하면 클러스터의 모든 노드에서 데몬을 시작 / 중지 할 수 있습니다. 이미주의 했으므로 향후 제공되지 않을 예정입니다.

   start-all.sh & stop-all.sh : hadoop 데몬을 모두 시작하고 중지하는 데 사용됩니다. 마스터 시스템에서이를 실행하면 클러스터의 모든 노드에서 데몬을 시작 / 중지 할 수 있습니다. 이미주의 했으므로 향후 제공되지 않을 예정입니다.

   start-dfs.sh, stop-dfs.sh 및 start-yarn.sh, stop-yarn.sh : 위와 같지만 마스터 시스템의 모든 노드에서 HDFS 및 YARN 데몬을 개별적으로 시작 / 중지합니다. start -all.sh & stop-all.sh에이 명령을 사용하는 것이 좋습니다.

   hadoop-daemon.sh namenode / datanode 및 yarn-deamon.sh resourcemanager : 개별 시스템에서 개별 데몬을 수동으로 시작합니다. 특정 노드로 가서 이러한 명령을 실행해야합니다.

   사용 사례 : 클러스터에 새 DN을 추가했으며이 시스템에서만 DN 데몬을 시작해야한다고 가정합니다.

   bin/hadoop-daemon.sh start datanode
   

   주 : 한 시스템에서 모든 노드의 모든 데몬을 시작하려면 ssh를 사용 가능하게해야합니다.

   희망이 귀하의 검색어에 대한 답변.

2. ==============================

   2.하둡 페이지에서,

   하둡 페이지에서,

   start-all.sh 
   

   이것은 네임 노드, 데이타 노드, Jobtracker 및 Tasktracker를 시스템에서 시작할 것입니다.

   start-dfs.sh
   

   이렇게하면 명령을 실행 한 시스템에서 네임 노드가 실행되는 HDFS가 나타납니다. 그런 머신에서는 job- 추적기를 별도로 시작하려면 start-mapred.sh가 필요합니다.

   start-all.sh/stop-all.sh를 마스터 노드에서 실행해야합니다.

   단일 노드 클러스터에서 start-all.sh를 사용합니다 (즉, 동일한 노드에 모든 서비스가있는 곳). namenode는 datanode이고 마스터 노드입니다.

   다중 노드 설정에서,

   마스터 노드에서 start-all.sh를 사용하고 슬레이브에서 필요한 것을 시작합니다.

   또는,

   네임 노드를 실행할 노드에서 start-dfs.sh를 사용하십시오. 이렇게하면 명령을 실행 한 시스템에서 네임 노드가 실행되고 슬레이브 파일에 나열된 시스템의 데이터 노드가있는 HDFS가 나타납니다.

   Jobtracker를 실행할 시스템에서 start-mapred.sh를 사용하십시오. 이렇게하면 명령을 실행 한 시스템에서 Jobtracker가 실행중인 Map / Reduce 클러스터가 나타나고 슬레이브 파일에 나열된 시스템에서 Tasktrackers가 실행 중입니다.

   타리크 (Tariq)가 말한 바와 같이 hadoop- 데몬 .sh는 각 개별 노드에서 사용됩니다. 마스터 노드는 슬레이브에서 서비스를 시작하지 않습니다. 단일 노드 설정에서 이는 start-all.sh와 동일하게 작동합니다. 다중 노드 설정에서 각 노드 (마스터 및 슬레이브)에 액세스하고 그들 각각에.

   이 start-all.sh를보고 config에 dfs와 mapred를 호출하십시오.

3. ==============================

   3.시작 중

   시작 중

   start-dfs.sh (starts the namenode and the datanode)
   start-mapred.sh (starts the jobtracker and the tasktracker)
   

   멎는

   stop-dfs.sh
   stop-mapred.sh
   

from https://stackoverflow.com/questions/17569423/what-is-best-way-to-start-and-stop-hadoop-ecosystem-with-command-line by cc-by-sa and MIT license