[HADOOP] Hadoop MapReduce에서 Map 출력 값으로 Object를 어떻게 설정합니까?
HADOOPHadoop MapReduce에서 Map 출력 값으로 Object를 어떻게 설정합니까?
Hadoop MapReduce에서 중간 출력 (map ()으로 생성)에 대해 중간 출력의 값을 다음 객체로 지정합니다.
MyObject{
date:Date
balance:Double
}
내가 어떻게 할거야. 내 Writable 클래스를 만들어야 하나?
나는 MapReduce의 초보자이다.
감사.
해결법
-
==============================
1.매퍼 값으로 내보낼 수있는 사용자 정의 유형을 작성할 수 있습니다. 그러나 무엇을 값으로 내고 싶은지간에, Writable Interface를 구현해야합니다. 다음과 같이 할 수 있습니다.
매퍼 값으로 내보낼 수있는 사용자 정의 유형을 작성할 수 있습니다. 그러나 무엇을 값으로 내고 싶은지간에, Writable Interface를 구현해야합니다. 다음과 같이 할 수 있습니다.
public class MyObj implements WritableComparable<MyObj>{ private String date; private Double balance; public String getDate() { return date;} public Double getBalance() { return balance;} @Override public void readFields(DataInput in) throws IOException { //Define how you want to read the fields } @Override public void writeFields(DataOutput out) throws IOException { //Define how you want to write the fields } ....... ....... ....... }
또는 Avro 직렬화 프레임 워크를 사용할 수 있습니다.
from https://stackoverflow.com/questions/13877077/how-do-i-set-an-object-as-the-value-for-map-output-in-hadoop-mapreduce by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] saveAsTextFile을 사용하여 NullPointerException을 발생시킵니다. (0) | 2019.06.11 |
---|---|
[HADOOP] 직렬화에서 Avro NullPointerException이있는 MRUnit (0) | 2019.06.11 |
[HADOOP] 로컬로 스파크 작업을 실행할 때 "Scheme : gs에 대한 파일 시스템 없음" (0) | 2019.06.11 |
[HADOOP] 데이터를 HDFS로 복사 할 때 createBlockOutputStream의 예외 (0) | 2019.06.11 |
[HADOOP] Spark / Python에서 누락 된 누락 값 전달 (0) | 2019.06.11 |