복붙노트

[HADOOP] Hadoop 작업을 원격으로 실행할 수 없음

HADOOP

Hadoop 작업을 원격으로 실행할 수 없음

Windows 시스템에서 원격으로 hadoop 작업을 실행하고 싶습니다. 클러스터가 우분투에서 실행 중입니다.

기본적으로 두 가지 일을하고 싶습니다.

나는 이것을 달성하는 방법을 모른다. hadoop 버전 1.1.2를 사용하고 있습니다.

작업 구성에서 jobtracker / namenode URL을 전달하려고 시도했지만 실패합니다.

다음 예제를 시도해 보았습니다. 로컬 / 원격 클러스터에서 java hadoop 작업 실행

결과 : 디렉토리를로드 할 수 없으므로 일관되게 오류가 발생합니다. 그것은이 게시물과 유사합니다 : 원격 시스템에서 mapreduce 작업을 제출하는 중에 예외가 발생했습니다.

해결법

  1. ==============================

    1.고통의 세계에 오신 것을 환영합니다. 필자는이 정확한 사용 사례를 구현했지만 소스에서 패치되고 컴파일 된 Hadoop 2.2 (현재 안정적인 릴리스)를 사용합니다.

    고통의 세계에 오신 것을 환영합니다. 필자는이 정확한 사용 사례를 구현했지만 소스에서 패치되고 컴파일 된 Hadoop 2.2 (현재 안정적인 릴리스)를 사용합니다.

    내가 한 것은 간단히 요약하면 다음과 같습니다.

    이 모든 것을 관리했다면 Linux Hadoop 클러스터를 시작하고 Windows 명령 프롬프트에서 연결할 수 있습니다. 즐거움!

  2. from https://stackoverflow.com/questions/22191568/not-able-to-run-hadoop-job-remotely by cc-by-sa and MIT license