[HADOOP] Hadoop 구성 : mapred. * vs mapreduce. *

Hadoop 구성 : mapred. * vs mapreduce. *

Hadoop 구성 매개 변수가 두 세트 있음을 알았습니다 : 하나는 mapred. *이고 다른 하나는 mapreduce입니다. 이러한 API는 이전 API와 새로운 API로 인한 것일 수 있습니다. 그러나 실수하지 않으면 이러한 API가 공존하는 것으로 보입니다. 새로운 API 제가 맞습니까? 그렇다면지도 작성에 사용되는 일반화 된 문장이 있습니까? 그리고 mapreduce. *를 위해 무엇입니까?

해결법

1. ==============================

   1.0.20.2에 대한 소스를 조사해 보면 mapreduce. * 속성이 몇 개 밖에 없으며 작업 입력 / 출력 형식, 매퍼 / 결합기 / 축소기 및 분할 자 클래스 구성에 중점을 둡니다. 또한 작업 클라이언트에 새로운 API 사용자가 사용하고 있습니다 - 소스를 통해 oahmapreduce를 봅니다 .Job, setUseNewAPI () 메소드)

   0.20.2에 대한 소스를 조사해 보면 mapreduce. * 속성이 몇 개 밖에 없으며 작업 입력 / 출력 형식, 매퍼 / 결합기 / 축소기 및 분할 자 클래스 구성에 중점을 둡니다. 또한 작업 클라이언트에 새로운 API 사용자가 사용하고 있습니다 - 소스를 통해 oahmapreduce를 봅니다 .Job, setUseNewAPI () 메소드)

   몇 가지 속성이 있지만 두 번째 구성입니다.

   새로운 API 버전이든 오래된 API 버전이든 관계없이 입력 및 출력 형식은 일반적으로 mapred. * 속성을 사용합니다

   예를 들어지도에서 입력 경로를 줄이려는 신호는 mapred.input.dir (새 API 또는 이전 API를 사용하는지 여부)을 사용합니다. 출력 속성 mapred.output.dir과 동일합니다.

   그래서 길고 짧은 경우, 속성을 구성하는 유틸리티 메서드가 없다면 (FileInputFormat.setInputPaths (Job, String)) 소스를 확인해야합니다.

2. ==============================

   2.예지도 라이브러리가 사용 중지되었습니다. mapreduce 라이브러리는 hadoop 0.20.1에서 새로 추가되었습니다.

   예지도 라이브러리가 사용 중지되었습니다. mapreduce 라이브러리는 hadoop 0.20.1에서 새로 추가되었습니다.

   그러나 mapred에서 제공하는 기능 중 일부는 계속 사용할 수 있으므로 디렉토리에서 찾을 수 있습니다.

   이 링크를 통해 계속 사용할 수있는 기능을 확인하십시오. http://hadoop.apache.org/common/docs/r0.20.0/api/org/apache/hadoop/mapred/package-summary.html

3. ==============================

   3.hadoop.mapred는 더 이상 사용되지 않습니다.

   hadoop.mapred는 더 이상 사용되지 않습니다.

   0.20.1 이전 버전에서는 mapred가 사용되었습니다. 그 후 버전은 mapreduce를 사용합니다.

   나는 그들이 공존한다고 생각하지 않는다.

from https://stackoverflow.com/questions/10986633/hadoop-configuration-mapred-vs-mapreduce by cc-by-sa and MIT license