[HADOOP] mapred-site.xml의 mapreduce.framework.name에 대한 클래식, 로컬의 차이점은 무엇입니까?

mapred-site.xml의 mapreduce.framework.name에 대한 클래식, 로컬의 차이점은 무엇입니까?

이 매개 변수에 대한 공식 설명은 다음과 같습니다.

The runtime framework for executing MapReduce jobs. Can be one of local, classic or yarn.

나는 값 'yarn'이 MRv2를위한 것이고, 이는 mapreduce 작업을 resourcemanager에 제출할 것이라는 것을 알고 있습니다. 그러나 지역과 고전의 차이점은 무엇입니까? MRV1에 해당하는 것은 어느 것입니까?

고마워요!

해결법

1. ==============================

   1.당신 말이 맞아요, "원사"는 MRv2를 의미합니다. "클래식"은 MRv1 용이고 "로컬"은 MR 작업의 로컬 실행 용입니다. 그런데 왜 MRv1이 필요합니까? 원사는 현재 베타 버전에서 벗어 났으며 이전 MRv1 프레임 워크보다 안정적이며 MapReduce 작업은 이전의 "지도 된"API를 계속 사용할 수 있습니다

   당신 말이 맞아요, "원사"는 MRv2를 의미합니다. "클래식"은 MRv1 용이고 "로컬"은 MR 작업의 로컬 실행 용입니다. 그런데 왜 MRv1이 필요합니까? 원사는 현재 베타 버전에서 벗어 났으며 이전 MRv1 프레임 워크보다 안정적이며 MapReduce 작업은 이전의 "지도 된"API를 계속 사용할 수 있습니다

2. ==============================

   2.나는 위의 대답에 동의하며, 한 가지 더 요점을 더하고 싶습니다.

   나는 위의 대답에 동의하며, 한 가지 더 요점을 더하고 싶습니다.

   클래식은 MR1입니다. 우리가 프레임 워크 이름을 클래식으로 사용하여 MR 작업을 제출할 때마다 Job은 MR1의 Jobtracker 데몬에 제출되어 맵 감소 실행을 조정하고 각 작업은 다른 JVM에서 실행됩니다

   로컬 JobRunner의 주된 목적은 작은 입력으로 mapreduce 프로그램을 디버깅 / 테스트하는 것입니다. JobTracker, TaskTracker와 같은 데몬은 필요 없습니다. 이 실행 모드는 Eclipse에서 MR 응용 프로그램을 실행할 때 유용합니다. 기본적으로 실행은 로컬 jobrunner에 있습니다 (Eclipse 사용과 동일한 JVM 사용). 모든 매퍼 / 리덕션은 동일한 JVM을 실행합니다. 동일한 JVM이 모든 실행 (Driver + Map + Reduce)에 사용되고 있으므로 큰 데이터 처리에는이 JVM을 사용할 수 없으므로 OutOfMemory 예외로 실행이 종료됩니다.

from https://stackoverflow.com/questions/26687029/what-is-the-difference-between-classic-local-for-mapreduce-framework-name-in-ma by cc-by-sa and MIT license