[HADOOP] jobconf와 job의 기본적인 차이점은 무엇입니까?
HADOOPjobconf와 job의 기본적인 차이점은 무엇입니까?
안녕하세요, 저는 jobconf와 job objects의 근본적인 차이점을 알고 싶었습니다. 현재이 일을하고 있습니다.
JobClient.runJob(jobconf);
나는 이런 식으로 일자리를 제출하는 다른 방법을 보았다.
Configuration conf = getConf();
Job job = new Job(conf, "secondary sort");
job.waitForCompletion(true);
return 0;
jobconf를 사용하여 작업에 sortcomparator 클래스를 어떻게 지정합니까?
어느 누구도이 개념을 설명 할 수 있습니까?
해결법
-
==============================
1.즉, JobConf와 org.apache.hadoop.mapred 패키지의 다른 모든 것들은 hadoop 작업을 작성하는 데 사용 된 이전 API의 일부이며, Job과 org.apache.hadoop.mapreduce 패키지의 모든 것은 새롭고 선호되는 API의 일부입니다 hadoop 작업을 작성합니다. 두 API 모두 일반적으로 동등한 핵심 기능을 제공합니다.
즉, JobConf와 org.apache.hadoop.mapred 패키지의 다른 모든 것들은 hadoop 작업을 작성하는 데 사용 된 이전 API의 일부이며, Job과 org.apache.hadoop.mapreduce 패키지의 모든 것은 새롭고 선호되는 API의 일부입니다 hadoop 작업을 작성합니다. 두 API 모두 일반적으로 동등한 핵심 기능을 제공합니다.
새 API를 사용하기 시작한 경우 (예 : JobConf 대신 Job 및 Configuration). 맵핑 된 패키지에서 아무것도 가져 오지 않도록하십시오. 이전 API를 사용하여 인터넷에서 예를 발견하면이 프레젠테이션이나이 가이드를 사용하여 새로운 API로 번역 할 수 있습니다.
-
==============================
2.이전 API 작업 구성은 JobConf 객체에 의해 수행됩니다. 새 API에서 작업 구성은 Configuration 객체를 통해 수행됩니다.
이전 API 작업 구성은 JobConf 객체에 의해 수행됩니다. 새 API에서 작업 구성은 Configuration 객체를 통해 수행됩니다.
작업 제어는 이전 API가 아닌 새 API의 Job 클래스를 통해 수행됩니다. 새 API에 더 이상 존재하지 않는 JobClient.
from https://stackoverflow.com/questions/18402360/what-is-the-basic-difference-between-jobconf-and-job by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] org.apache.hadoop.mapreduce.Job의 세 생성자는 더 이상 사용되지 않습니다. Job 클래스를 생성하는 가장 좋은 방법은 무엇입니까? (0) | 2019.06.16 |
---|---|
[HADOOP] AM 컨테이너가 할당되기를 기다리는 MapReduce 작업이 중지됨 (0) | 2019.06.16 |
[HADOOP] 체크섬 예외는 아파치에서 읽거나 hdfs에 복사 할 때 발생합니다. (0) | 2019.06.16 |
[HADOOP] Hadoop에서 파일 / 폴더 삭제 중 (0) | 2019.06.16 |
[HADOOP] Apache Spark은 HDFS 데이터 노드에 대해 어떻게 알고 있습니까? (0) | 2019.06.16 |