[HADOOP] Hadoop 작업을 원격으로 실행할 수 없음
HADOOPHadoop 작업을 원격으로 실행할 수 없음
Windows 시스템에서 원격으로 hadoop 작업을 실행하고 싶습니다. 클러스터가 우분투에서 실행 중입니다.
기본적으로 두 가지 일을하고 싶습니다.
나는 이것을 달성하는 방법을 모른다. hadoop 버전 1.1.2를 사용하고 있습니다.
작업 구성에서 jobtracker / namenode URL을 전달하려고 시도했지만 실패합니다.
다음 예제를 시도해 보았습니다. 로컬 / 원격 클러스터에서 java hadoop 작업 실행
결과 : 디렉토리를로드 할 수 없으므로 일관되게 오류가 발생합니다. 그것은이 게시물과 유사합니다 : 원격 시스템에서 mapreduce 작업을 제출하는 중에 예외가 발생했습니다.
해결법
-
==============================
1.고통의 세계에 오신 것을 환영합니다. 필자는이 정확한 사용 사례를 구현했지만 소스에서 패치되고 컴파일 된 Hadoop 2.2 (현재 안정적인 릴리스)를 사용합니다.
고통의 세계에 오신 것을 환영합니다. 필자는이 정확한 사용 사례를 구현했지만 소스에서 패치되고 컴파일 된 Hadoop 2.2 (현재 안정적인 릴리스)를 사용합니다.
내가 한 것은 간단히 요약하면 다음과 같습니다.
이 모든 것을 관리했다면 Linux Hadoop 클러스터를 시작하고 Windows 명령 프롬프트에서 연결할 수 있습니다. 즐거움!
from https://stackoverflow.com/questions/22191568/not-able-to-run-hadoop-job-remotely by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 페치 실패 횟수가 너무 많음 : 클러스터의 Hadoop (x2) (0) | 2019.06.24 |
---|---|
[HADOOP] hadoop 매퍼에있는 객체 유형의 키 (0) | 2019.06.24 |
[HADOOP] hadoop (EMR)을 사용하여 S3에 _ $ 폴더 $ 키를 생성하지 마십시오. (0) | 2019.06.24 |
[HADOOP] 어떻게 R에서 스트리밍 mapreduce 작업에서 파일 이름을 얻을 수 있습니까? (0) | 2019.06.24 |
[HADOOP] 지도에서 데이터를 정렬하는 방법은? (0) | 2019.06.24 |