[HADOOP] 하둡 직업이 스스로 죽일 수있는 방법

하둡 직업이 스스로 죽일 수있는 방법

Hadoop 작업 자체를 종료하거나 종료하라는 신호를 보내는 방법이 있습니까? jobConf에서 구성 설정을 읽었습니다. 사용자가 잘못된 설정을 지정하면 map / reduce 구성 방법으로 예외를 throw 할 수 없으므로 작업을 종료하거나 오류를 발생시켜야한다고 말합니다.

public void configure(JobConf job) {
    System.out.println("Inside config start processing");
     try {

            String strFileName =  job.get("hadoop.rules");
            LoadFile(strFileName );
     } catch (Exception e) {
         e.printStackTrace();
        //Here i need to write code to kill job
     }
}

해결법

1. ==============================

   1.configure () 메소드에서 RuntimeException을 발생시킵니다.

   configure () 메소드에서 RuntimeException을 발생시킵니다.

   더 나은 방법은 가능하면 작업을 실행하기 전에 유효성 검사 단계를 수행하는 것이 좋습니다.

2. ==============================

   2.상태를 kill이라는 부울 변수에 저장하고 맵 단계에서 변수를 평가 한 다음 IOException을 발생시킵니다.

   상태를 kill이라는 부울 변수에 저장하고 맵 단계에서 변수를 평가 한 다음 IOException을 발생시킵니다.

from https://stackoverflow.com/questions/6055296/how-can-hadoop-job-kill-by-itself by cc-by-sa and MIT license