[HADOOP] 하둡 맵리 듀스 프로그래밍
HADOOP하둡 맵리 듀스 프로그래밍
Hadoop mapreduce 프로그래밍을 사용하여 정렬 된 o / p를 얻는 방법은 무엇입니까?
정렬 된 순서로 최종 키-값 쌍을 얻는 방법이 있습니까? (키 또는 값으로).
이것에 대한 조언은 크게 감사합니다.
고맙습니다 아르 자형
해결법
-
==============================
1.기본적으로 MapReduce는 키를 기준으로 입력 레코드를 정렬합니다.
기본적으로 MapReduce는 키를 기준으로 입력 레코드를 정렬합니다.
그러나 최신 Hadoop 릴리스를 다운로드하고 해당 예제를 확인하는 것이 더 도움이 될 수 있습니다. 다른 정렬 예제도 있습니다.
정렬 순서에 대한 자세한 정보가 필요한 경우이를 변경하는 방법입니다.
키의 정렬 순서는 RawComparator에 의해 제어되며 다음과 같습니다.
-
==============================
2."Hadoop : Definitive Guide"2 판은 코드 샘플을 사용하여 8 장의 전역 정렬을 설명합니다.
"Hadoop : Definitive Guide"2 판은 코드 샘플을 사용하여 8 장의 전역 정렬을 설명합니다.
from https://stackoverflow.com/questions/7074842/hadoop-mapreduce-programming by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] java.lang.ClassCastException 가져 오기 : 간단한 MapReduce 프로그램 실행시 클래스 java.lang.String (0) | 2019.08.08 |
---|---|
[HADOOP] Amazon EMR : 데이터 노드에서 스토리지 구성 (0) | 2019.08.08 |
[HADOOP] HDFS에서 1 백만 개 이상의 파일이있는 이진 파일 ()로 인한 스파크 시간 초과 (0) | 2019.08.08 |
[HADOOP] HBase : 0.96.0 이후에 커스텀 스킵 필터를 작성하는 방법은 무엇입니까? (0) | 2019.08.08 |
[HADOOP] 스파크 구성 파일 (0) | 2019.08.08 |