[HADOOP] 업로드 / 다운로드를위한 하둡 나머지의 API
HADOOP업로드 / 다운로드를위한 하둡 나머지의 API
나는 C #을 응용 프로그램을 사용하여 / 업로드를 수행 하둡 클러스터에서 파일을 다운로드하려고하지만 업로드에 대한 API를 찾아 문서에서 다운로드 할 수 없습니다.
그래서 당신은 저를 업로드하고 RestAPIs를 사용하여 하둡에서 파일을 다운로드하는 방법을 알려 주시기 바랍니다 수 있습니까?
감사
해결법
-
==============================
1.여기 http://hadoop.apache.org/docs/r1.0.4/webhdfs.html 설명 된대로 WebHDFS REST API를 사용할 수 있습니다
여기 http://hadoop.apache.org/docs/r1.0.4/webhdfs.html 설명 된대로 WebHDFS REST API를 사용할 수 있습니다
편집하다:
만들기 및 파일에 쓰기
1 단계:
자동으로 넘겨없이 파일 데이터를 전송하지 않고 HTTP의 PUT 요청을 제출합니다.
요청은 파일 데이터를 기록 할 수있는 데이터 노드로 리디렉션됩니다 : HTTP / 1.1 307 TEMPORARY_REDIRECT 위치 : HTTP : // : / webhdfs / V1 / 연산 = CREATE ... 콘텐츠 길이 : 0
2 단계:
파일 데이터가 기록 될 수와 위치 헤더에서 URL을 사용하여 다른 HTTP의 PUT 요청을 제출합니다.
클라이언트는 제로 콘텐츠 길이와 위치 헤더 파일의 WebHDFS URI와 201 만든 응답을 수신 : HTTP / 1.1 201 만든 위치 : webhdfs : // : / 콘텐츠 길이 : 0
두 단계 / APPEND를 만드는 데 이유 리디렉션하기 전에 데이터를 전송하는 클라이언트를 방지하기위한 것이 주. 이 문제는에 의해 해결 된 "예상 : 100 - 계속"HTTP / 1.1 헤더; RFC 2616, 8.2.3 절을 참조하십시오. 불행하게도, 제대로 "100 계속 기대"구현하지 않는 소프트웨어 라이브러리 버그 (예를 들어, 부두 6 HTTP 서버와 자바 6 HTTP 클라이언트)가있다. 두 단계의 생성 / APPEND는 소프트웨어 라이브러리 버그에 대한 임시 해결 방법입니다.
from https://stackoverflow.com/questions/23993421/hadoop-rest-api-for-upload-download by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 작동하지 하둡 작업 및 작업 추적기 (0) | 2019.10.16 |
---|---|
[HADOOP] 하이브에서 HBase를 테이블에 데이터를로드 할 수 없습니다 (0) | 2019.10.16 |
[HADOOP] 어떻게로드 명령을 사용하여 돼지의 폴더에 여러 개의 텍스트 파일을로드하려면? (0) | 2019.10.16 |
[HADOOP] HBase를도 최대 버전을 반환에게 이전 값을 얻을 수 = 1 (0) | 2019.10.16 |
[HADOOP] 출력으로하여 MongoDB에서의 MapReduce를 사용 HDFS에서 처리 된 데이터를 저장하는 방법 (0) | 2019.10.16 |