[HADOOP] 스파크에 맵리 듀스
HADOOP스파크에 맵리 듀스
나는 자바로 작성된 맵리 듀스 작업을해야합니다. 그것은 여러 클래스에 따라 달라집니다. 나는 스파크에 맵리 듀스 작업을 실행하려면.
어떤 단계 나는 동일한 작업을 수행하기 위해 수행해야합니까?
난 단지 맵리 듀스 클래스로 변경해야?
감사!
해결법
-
==============================
1.이것은 매우 광범위한 질문이지만, 그것의 짧은이다 :
이것은 매우 광범위한 질문이지만, 그것의 짧은이다 :
스파크는 맵리 듀스보다 더 유연 : 당신이 데이터를 변환하는 1 단계와 4 사이에 사용할 수있는 방법의 큰 다양성이있다.
from https://stackoverflow.com/questions/28889797/mapreduce-to-spark by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 프로세스 구조화되지 않은 여러 라인 CSV 하둡 (0) | 2019.10.23 |
---|---|
[HADOOP] HDFS에 파일을 복사 할 수 없습니다 (0) | 2019.10.23 |
[HADOOP] 어떻게 하둡와 문자열 매칭 알고리즘을 구현하는 방법? (0) | 2019.10.23 |
[HADOOP] 스파크 RDD에서 combineByKey 및 aggregateByKey없이 지정된 출력을 얻는 방법 (0) | 2019.10.23 |
[HADOOP] 맵리 듀스를 사용하여 암호로 보호 된 zip 파일을 처리하면 [복제] (0) | 2019.10.23 |