[HADOOP] hadoop 작업을 죽이는 법

hadoop 작업을 죽이는 법

내 코드가 처리되지 않은 예외를 만날 때 자동으로 모든 hadoop 작업을 죽이고 싶습니다. 그것을 수행하는 가장 좋은 방법이 무엇인지 궁금합니다.

감사

해결법

1. ==============================

   1.버전에 따라 다음을 수행하십시오.

   버전에 따라 다음을 수행하십시오.

   버전 <2.3.0

   hadoop 일을 죽이십시오 :

   hadoop job -kill $jobId
   

   당신은 일하는 모든 일의 목록을 얻을 수 있습니다 :

   hadoop job -list
   

   버전> = 2.3.0

   hadoop 일을 죽이십시오 :

   yarn application -kill $ApplicationId
   

   모든 ApplicationId가 수행하는 목록을 얻을 수 있습니다.

   yarn application -list
   

2. ==============================

   2.다음 명령의 사용이 권장되지 않습니다.

   다음 명령의 사용이 권장되지 않습니다.

   hadoop job -list
   hadoop job -kill $jobId
   

   사용을 고려하다

   mapred job -list
   mapred job -kill $jobId
   

3. ==============================

   3.목록을 실행하여 모든 작업을 표시 한 다음 해당 명령에서 jobID / applicationID를 사용하십시오.

   목록을 실행하여 모든 작업을 표시 한 다음 해당 명령에서 jobID / applicationID를 사용하십시오.

   지도 작성 작업 취소 :

   mapred job -list
   mapred job -kill <jobId>
   

   킬 원사 채용 :

   yarn application -list
   yarn application -kill <ApplicationId>
   

4. ==============================

   4.처리되지 않은 예외 (특정 데이터 노드의 읽기 오류와 반대되는 잘못된 데이터와 같은 반복 가능하다고 가정)는 결과적으로 결국 실패합니다.

   처리되지 않은 예외 (특정 데이터 노드의 읽기 오류와 반대되는 잘못된 데이터와 같은 반복 가능하다고 가정)는 결과적으로 결국 실패합니다.

   다음 작업을 통해 전체 작업이 실패하기 전에 특정 맵 또는 작업 감소 작업이 실패 할 수있는 최대 횟수를 구성 할 수 있습니다.

   첫 번째 실패시 작업을 실패하려면이 값을 기본값 인 4에서 1로 설정하십시오.

5. ==============================

   5.간단히 프로세스 ID를 강제 종료하면 hadoop 작업도 자동으로 종료됩니다. 이 명령을 사용하십시오.

   간단히 프로세스 ID를 강제 종료하면 hadoop 작업도 자동으로 종료됩니다. 이 명령을 사용하십시오.

   kill -9 <process_id> 
   

   username@hostname:~$ kill -9 4040
   

from https://stackoverflow.com/questions/11458519/how-to-kill-hadoop-jobs by cc-by-sa and MIT license