[HADOOP] 클러스터를 초기화 할 수 없습니다. mapreduce.framework.name 및 해당 서버 주소 - job2remoteClustr 제출을위한 구성을 확인하십시오.

클러스터를 초기화 할 수 없습니다. mapreduce.framework.name 및 해당 서버 주소 - job2remoteClustr 제출을위한 구성을 확인하십시오.

최근 아파치 Hadoop1.0에서 내 클러스터를 CDH4.4.0으로 업그레이드했습니다. mapryduce 클라이언트를 통해이 원격 클러스터에 작업을 제출하는 곳의 다른 컴퓨터에 weblogic 서버가 있습니다. 나는 여전히 원사가 아닌 MR1을 사용하고 싶다. CDH 설치 (/ usr / lib / hadoop / client / *)의 클라이언트 jar에 대해 내 클라이언트 코드를 컴파일했습니다.

JobClient 인스턴스를 생성 할 때 아래 오류가 발생합니다. 동일한 문제와 관련하여 많은 게시물이 있지만 모든 솔루션은 작업을 로컬 클러스터에 제출하는 시나리오를 말하며 원격 및 특히 wls 컨테이너의 경우는 그렇지 않습니다.

JobClient jc = 새로운 JobClient (conf);

클러스터를 초기화 할 수 없습니다. mapreduce.framework.name과 해당 서버 주소에 대한 구성을 확인하십시오.

그러나 클러스터의 명령 프롬프트에서 실행하면 정상적으로 작동합니다.

시기 적절한 도움을 감사하십시오!

해결법

1. ==============================

   1.앱이 이전 Hadoop 1.x 구성 파일을보고있을 가능성이 큽니다. 어쩌면 귀하의 애플 리케이션 하드 코드 일부 구성? 이 오류는 새 클라이언트 라이브러리를 사용하고 있지만 새 스타일 구성을보고 있지 않음을 나타내는 경향이 있습니다.

   앱이 이전 Hadoop 1.x 구성 파일을보고있을 가능성이 큽니다. 어쩌면 귀하의 애플 리케이션 하드 코드 일부 구성? 이 오류는 새 클라이언트 라이브러리를 사용하고 있지만 새 스타일 구성을보고 있지 않음을 나타내는 경향이 있습니다.

   커맨드 라인 툴은 그것들을 잘 볼 수 있기 때문에 반드시 있어야합니다. HADOOP_HOME 또는 HADOOP_CONF_DIR 환경 변수도 확인하십시오. 명령 행 도구가 선택하는 경향이 있지만 작동합니다.

   MR1 클라이언트와 호환되도록 CDH 4.4에 'yarn'이 아닌 'mapreduce'서비스를 설치해야합니다. Maven의 '...- mr1 -...'아티팩트도 참조하십시오.

2. ==============================

   2.비슷한 오류가있어서 클래스 패스에 다음 항아리를 추가하면 저에게 효과적입니다. hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76 : hadoop-mapreduce-client-shuffle-2.3.0.jar : hadoop-mapreduce-client-common-2.3.0.jar

   비슷한 오류가있어서 클래스 패스에 다음 항아리를 추가하면 저에게 효과적입니다. hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76 : hadoop-mapreduce-client-shuffle-2.3.0.jar : hadoop-mapreduce-client-common-2.3.0.jar

3. ==============================

   3.필자의 경우,이 오류는 jar의 버전으로 인한 것이므로 서버에서와 동일한 버전을 사용하고 있는지 확인하십시오.

   필자의 경우,이 오류는 jar의 버전으로 인한 것이므로 서버에서와 동일한 버전을 사용하고 있는지 확인하십시오.

4. ==============================

   4.export HADOOP_MAPRED_HOME = / cloudera / parcels / CDH-4.1.3-1.cdh4.1.3.p0.23 / lib / hadoop-0.20-mapreduce

   export HADOOP_MAPRED_HOME = / cloudera / parcels / CDH-4.1.3-1.cdh4.1.3.p0.23 / lib / hadoop-0.20-mapreduce

5. ==============================

   5.저의 경우 저는 sqoop 1.4.5를 실행하고 최신의 hadoop 2.0.0-cdh4.4.0을 가리키고 있습니다. 이것은 원사 재료가 있었기 때문에 그것이 불평하는 이유입니다.

   저의 경우 저는 sqoop 1.4.5를 실행하고 최신의 hadoop 2.0.0-cdh4.4.0을 가리키고 있습니다. 이것은 원사 재료가 있었기 때문에 그것이 불평하는 이유입니다.

   내가 sqoop을 hadoop-0.20 / 2.0.0-cdh4.4.0으로 지적했을 때 (MR1은 생각한다) 효과가 있었다.

6. ==============================

   6.필자의 경우, 이상하게도이 오류는 내 'core-site.xml'파일에서 "hostname"보다는 "IP-address"를 언급했기 때문에 발생했습니다. IP 주소 대신 "hostname"과 "core-site.xml"및 "mapred.xml"을 언급하고 mapreduce lib 파일을 다시 설치 한 순간 오류가 해결되었습니다.

   필자의 경우, 이상하게도이 오류는 내 'core-site.xml'파일에서 "hostname"보다는 "IP-address"를 언급했기 때문에 발생했습니다. IP 주소 대신 "hostname"과 "core-site.xml"및 "mapred.xml"을 언급하고 mapreduce lib 파일을 다시 설치 한 순간 오류가 해결되었습니다.

from https://stackoverflow.com/questions/19043970/cannot-initialize-cluster-please-check-your-configuration-for-mapreduce-framewo by cc-by-sa and MIT license