[HADOOP] 코드에서 hadoop 작업의 작업 ID를 찾는 방법?
HADOOP코드에서 hadoop 작업의 작업 ID를 찾는 방법?
루프가있는 Hadoop 프로그램이 있습니다. 루프의 각 반복에서 작업이 생성됩니다. 코드에서 작업 ID를 찾는 방법은 무엇입니까?
해결법
-
==============================
1.Job 인스턴스를 제출할 때 getJobID 메소드를 사용하여 작업 ID에 대한 정보를 얻을 수 있습니다.
Job 인스턴스를 제출할 때 getJobID 메소드를 사용하여 작업 ID에 대한 정보를 얻을 수 있습니다.
Configuration config = new Configuration(); Job job = new Job(config); // configure your job job.submit(); // at that point your job is submitted but not finished and should have your job id String jobid = job.getJobID().toString();
getJobID가 null 만 반환하는 0.20.204 이전의 Hadoop 버전에 영향을주는 MAPREDUCE-118에 설명 된 버그가 있음에 유의하십시오.
from https://stackoverflow.com/questions/16761799/how-to-find-job-id-of-a-hadoop-job-in-code by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 사육사 오류가 발생하는 로컬 파일 시스템에 HBase를 사용 하시겠습니까? (0) | 2019.07.01 |
---|---|
[HADOOP] Hadoop 클라이언트에서 Hadoop 서버로 연결할 수 없습니다. (0) | 2019.07.01 |
[HADOOP] Hadoop 프레임 워크에서 사용되는 전체 속성 목록 (0) | 2019.07.01 |
[HADOOP] Maven - 테스트의 다른 종속성 버전 (0) | 2019.07.01 |
[HADOOP] Hadoop HDFS : 기록중인 시퀀스 파일 읽기 (0) | 2019.07.01 |