[HADOOP] Hadoop에서 웹 애플리케이션으로 파일 가져 오기

Hadoop에서 웹 애플리케이션으로 파일 가져 오기

나는 Hadoop을 처음 사용합니다. 지금은 일식에서 HDFS에있는 데이터를 사용하려는 응용 프로그램을 작성하려고합니다. Java로 데이터베이스에 연결하려면 JDBC 연결이 필요합니다. 이와 같이 HDFS에 직접 연결하려면 어떻게해야합니까?

해결법

1. ==============================

   1.하둡에서는 먼저 하둡이 제대로 작동하는지 확인해야합니다. Apache Hadoop은 Java 클래스를 제공합니다. FileSystem은 Java 애플리케이션에서 HDFS의 파일에 액세스합니다. 한 가지 예가 FileSystem 및 IOUtils를 사용하여 /books/pg5000.txt에 액세스 중입니다.

   하둡에서는 먼저 하둡이 제대로 작동하는지 확인해야합니다. Apache Hadoop은 Java 클래스를 제공합니다. FileSystem은 Java 애플리케이션에서 HDFS의 파일에 액세스합니다. 한 가지 예가 FileSystem 및 IOUtils를 사용하여 /books/pg5000.txt에 액세스 중입니다.

   import java.io.InputStream;
   import java.net.URI;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.FileSystem;
   import org.apache.hadoop.fs.Path;
   import org.apache.hadoop.io.IOUtils;
   
   
   public class FileSystemCat {
   
           public static void main(String[] args) throws Exception {
               Configuration conf = new Configuration();
               conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml"));
               conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));
             String uri = "/books/pg5000.txt";
           FileSystem fs = FileSystem.get(URI.create(uri), conf);
           InputStream in = null;
           try {
               in = fs.open(new Path(uri));
               IOUtils.copyBytes(in, System.out, 4096, false);
               } finally {
               IOUtils.closeStream(in);
               }
           }
   }
   

2. ==============================

   2.다른 데이터베이스와 마찬가지로 레코드 (행)로 HDFS 파일에 액세스하는 또 다른 대체 솔루션입니다. Hadoop을 사용하여 Hive를 구성하고 HiveServer2를 시작한 다음 모든 응용 프로그램에서 Thrift API를 사용하여 테이블로 HDFS에있는 데이터에 액세스 할 수 있습니다.

   다른 데이터베이스와 마찬가지로 레코드 (행)로 HDFS 파일에 액세스하는 또 다른 대체 솔루션입니다. Hadoop을 사용하여 Hive를 구성하고 HiveServer2를 시작한 다음 모든 응용 프로그램에서 Thrift API를 사용하여 테이블로 HDFS에있는 데이터에 액세스 할 수 있습니다.

   참조 링크 : https://cwiki.apache.org/confluence/display/Hive/HiveClient

   또한 HIVE ODBC 드라이버는 유명한 Hadoop 배포 업체 (Cloudera, Microsoft HDInsight, Hortonworks)에서도 구할 수 있습니다.

from https://stackoverflow.com/questions/30124206/getting-files-in-hadoop-into-a-web-application by cc-by-sa and MIT license