[HADOOP] 자바 HDFS에서 파일을 읽기
HADOOP자바 HDFS에서 파일을 읽기
내가 클러스터에서 프로그램을 실행하는 문제에 달려 기능에 HDFS 파일에서 읽어지도 및 감소로 결정했다. 어떻게 ArrayList에 행을 읽을 줄 HDFS 파일에서 라인을 읽고 구울?
해결법
-
==============================
1.시연 그냥 코드 :
시연 그냥 코드 :
Path path = new Path(filePath); FileSystem fs = path.getFileSystem(context.getConfiguration()); // context of mapper or reducer FSDataInputStream fdsis = fs.open(path); BufferedReader br = new BufferedReader(new InputStreamReader(fdsis)); String line = ""; ArrayList<String> lines = new ArrayList<String>(); while ((line = br.readLine()) != null) { lines.add(line); } br.close();
from https://stackoverflow.com/questions/13166123/reading-a-file-in-java-hdfs by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] (YARN)에 스파크가 작업자 노드에 설치되어 있지 않은 경우 어떻게 스파크 집행 인은 시작된다? (0) | 2019.09.20 |
---|---|
[HADOOP] 어떻게 외부 항아리 클라우 데라의 하둡을 사용 하는가? (0) | 2019.09.20 |
[HADOOP] 하둡에서 데이터 노드의 변경 번호 (0) | 2019.09.20 |
[HADOOP] 드롭 TABLE 문에 하이브는 ParseException (0) | 2019.09.19 |
[HADOOP] 맵리 듀스에 MySQL의 오류로 Sqoop을 수출 지역 CSV (0) | 2019.09.19 |