[HADOOP] aws의 스파크 스텝 종료

aws의 스파크 스텝 종료

EMR 스파크 클러스터에서 일련의 스파크 단계를 설정하고 너무 오래 걸리면 현재 단계를 종료하고 싶습니다. 그러나, 내가 마스터 노드로 ssh하고 hadoop jobs -list를 실행하면 마스터 노드는 실행중인 작업이 없다고 생각하는 것 같습니다. 클러스터를 종단하고 싶지는 않습니다. 그렇게하면 어떤 클러스터를 실행하든 완전히 새로운 시간을 사게됩니다. 누구든지 전체 클러스터를 종료하지 않고 EMR의 스파크 단계를 종료하도록 도와주십시오.

해결법

1. ==============================

   1.간단합니다.

   간단합니다.

   yarn application -kill [application id]
   

   다음을 사용하여 실행중인 응용 프로그램을 나열 할 수 있습니다.

   yarn application -list
   

2. ==============================

   2.자원 관리자 (클러스터 상태의 오른쪽 상단에있는 링크)에서 응용 프로그램을 종료 할 수 있습니다. 자원 관리자에서 죽이려는 응용 프로그램을 클릭하고 응용 프로그램 페이지에서 작은 "kill"레이블 (왼쪽 위)을 클릭하면 응용 프로그램을 종료 할 수 있습니다.

   자원 관리자 (클러스터 상태의 오른쪽 상단에있는 링크)에서 응용 프로그램을 종료 할 수 있습니다. 자원 관리자에서 죽이려는 응용 프로그램을 클릭하고 응용 프로그램 페이지에서 작은 "kill"레이블 (왼쪽 위)을 클릭하면 응용 프로그램을 종료 할 수 있습니다.

   분명히 당신은 또한 SSH 할 수 있지만, 나는 생각보다 빠르고 쉽게 일부 사용자.

from https://stackoverflow.com/questions/35020029/terminating-a-spark-step-in-aws by cc-by-sa and MIT license