[HADOOP] Hadoop 2.5.1 나머지 API로 mapreduce 작업을 어떻게 수행 할 수 있습니까?
HADOOPHadoop 2.5.1 나머지 API로 mapreduce 작업을 어떻게 수행 할 수 있습니까?
Hadoop 2.5.1은 새로운 Rest API를 추가하여 애플리케이션을 제출했습니다. http://hadoop.apache.org/docs/r2.5.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_APISubmit_Application
"클러스터 응용 프로그램 API (응용 프로그램 제출) 응용 프로그램 제출 응용 프로그램 API를 사용하여 응용 프로그램을 제출할 수 있습니다. 응용 프로그램을 제출하는 경우 먼저 클러스터 새 응용 프로그램 API를 사용하여 응용 프로그램 ID를 얻어야합니다. "
Hadoop 2.4가 명령 줄에서 mapreduce 예제를 실행하기 전에는 hadoop 명령 줄 셸을 실행해야합니다. bin / hadoop jar share / hadoop / mapreduce / hadoop-mapreduce-examples-2.5.1.jar grep 입력 출력 'dfs [a-z.] +'
Hadoop 2.5.1에서는 위의 나머지 API를 사용하여 동일한 mapreduce 샘플을 실행할 수 있지만 http 요청 본문을 작성하는 방법을 이해할 수 없었습니다. 위의 문서를 읽고 예는 YARN 응용 프로그램에 대한 것이지만 mapreduce 응용 프로그램의 본문을 만들 수 없습니다. 특히 hadoop-mapreduce-examples-2.5.1.jar grep 예제를 실행하도록 응용 프로그램에 am-container-spec 객체 (특히 로컬 리소스 및 명령)의 요소를 채우는 방법을 명확히 알지 못합니다. 누군가가 위의 mapreduce 예제를 실행하기 위해 요청 본문에 대한 JSON 또는 XML을 보낼 수 있습니까?
해결법
from https://stackoverflow.com/questions/26657874/how-can-i-run-mapreduce-job-by-hadoop-2-5-1-rest-api by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 창문에서 아마존의 탄력적 인 mapreduce (emr) 클러스터에서 mapreduce 작업을 수행하는 방법? (0) | 2019.08.02 |
---|---|
[HADOOP] ClassNotFoundException org.apache.mahout.math.VectorWritable (0) | 2019.08.02 |
[HADOOP] ArrayList 요소에 반복 가능 (0) | 2019.08.02 |
[HADOOP] HDFS에 쓰기 : 파일을 덮어 씁니다. (0) | 2019.08.02 |
[HADOOP] pydoop 대 hadoopy - hadoop 파이썬 클라이언트 [닫기] (0) | 2019.08.02 |