[HADOOP] hadoop 설치없이 로컬 파일 시스템에서 hadoop 시퀀스 파일을 만드는 방법은 무엇입니까?
HADOOPhadoop 설치없이 로컬 파일 시스템에서 hadoop 시퀀스 파일을 만드는 방법은 무엇입니까?
hadoop을 설치하지 않고 Java에서만 hadoop 시퀀스 파일을 작성할 수 있습니까? 시퀀스 파일을 로컬로 만드는 독립형 Java 프로그램이 필요합니다. Java 프로그램은 hadoop 설치가없는 env에서 실행됩니다.
해결법
-
==============================
1.라이브러리는 필요하지만 설치는 필요하지 않습니다. 용도
라이브러리는 필요하지만 설치는 필요하지 않습니다. 용도
샘플 코드 :
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.SequenceFile; import org.apache.hadoop.io.Text; public class SequenceFileCreator { public static void main(String[] args) throws IOException { // TODO Auto-generated method stub Configuration config = new Configuration(); FileSystem fs = FileSystem.get(config); SequenceFile.Writer writer = new SequenceFile.Writer(fs, config, new Path("LocalPath"), NullWritable.class, Text.class); writer.append(NullWritable.get(), new Text("")); writer.close(); } }
from https://stackoverflow.com/questions/30256194/how-to-create-hadoop-sequence-file-in-local-file-system-without-hadoop-installat by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Apache Drill이 업데이트, 삭제, 삽입 조작을 실행할 수있는 경우 (0) | 2019.09.12 |
---|---|
[HADOOP] Apache Hadoop을 2.4.1에서 2.6.0으로 업그레이드 (0) | 2019.09.12 |
[HADOOP] hadoop은 스파크 상태에서 실행될 때 stderr을 stdout에 병합합니다. (0) | 2019.09.12 |
[HADOOP] Pig로 (A, B, C)를 (AB, AC, BC)로 바꾸는 방법? (0) | 2019.09.12 |
[HADOOP] 내 프로그램을 실행하는 동안 hadoop 메시지가 표시됩니다. 무슨 뜻이에요? (0) | 2019.09.12 |