복붙노트

[HADOOP] 자바 HDFS에서 파일을 읽기

HADOOP

자바 HDFS에서 파일을 읽기

내가 클러스터에서 프로그램을 실행하는 문제에 달려 기능에 HDFS 파일에서 읽어지도 및 감소로 결정했다. 어떻게 ArrayList에 행을 읽을 줄 HDFS 파일에서 라인을 읽고 구울?

해결법

  1. ==============================

    1.시연 그냥 코드 :

    시연 그냥 코드 :

    Path path = new Path(filePath);
    FileSystem fs = path.getFileSystem(context.getConfiguration()); // context of mapper or reducer
    FSDataInputStream fdsis = fs.open(path);
    BufferedReader br = new BufferedReader(new InputStreamReader(fdsis));
    String line = "";
    ArrayList<String> lines = new ArrayList<String>();
    while ((line = br.readLine()) != null) {
        lines.add(line);
    }
    br.close();
    
  2. from https://stackoverflow.com/questions/13166123/reading-a-file-in-java-hdfs by cc-by-sa and MIT license