복붙노트

[HADOOP] 스파크에 맵리 듀스

HADOOP

스파크에 맵리 듀스

나는 자바로 작성된 맵리 듀스 작업을해야합니다. 그것은 여러 클래스에 따라 달라집니다. 나는 스파크에 맵리 듀스 작업을 실행하려면.

어떤 단계 나는 동일한 작업을 수행하기 위해 수행해야합니까?

난 단지 맵리 듀스 클래스로 변경해야?

감사!

해결법

  1. ==============================

    1.이것은 매우 광범위한 질문이지만, 그것의 짧은이다 :

    이것은 매우 광범위한 질문이지만, 그것의 짧은이다 :

    스파크는 맵리 듀스보다 더 유연 : 당신이 데이터를 변환하는 1 단계와 4 사이에 사용할 수있는 방법의 큰 다양성이있다.

  2. from https://stackoverflow.com/questions/28889797/mapreduce-to-spark by cc-by-sa and MIT license