복붙노트

[HADOOP] 작업은 Cloudera 5.1 하에서 LocalJobRunner에서 계속 실행됩니다.

HADOOP

작업은 Cloudera 5.1 하에서 LocalJobRunner에서 계속 실행됩니다.

빠른 도움이 필요합니다. 우리의 일은 MapR에서 잘 실행되지만 Cloudera 5.1에서 같은 작업을 시작할 때 로컬 모드에서 계속 실행됩니다.

이것이 어떤 종류의 구성 문제라고 확신합니다. 어떤 설정을 구성합니까?

14/08/22 12:16:58 INFO mapreduce.Job: map 0% reduce 0%
14/08/22 12:17:03 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:06 INFO mapred.LocalJobRunner: map > map
14/08/22 12:17:09 INFO mapred.LocalJobRunner: map > map

감사.

해결법

  1. ==============================

    1.문제는 당신이 사용하지 말아야 할 MapReduce 작업을 시작하기를 원한다면 Cloudera 5.1이 'Yarn'distribution & yarn을 실행한다는 것입니다.

    문제는 당신이 사용하지 말아야 할 MapReduce 작업을 시작하기를 원한다면 Cloudera 5.1이 'Yarn'distribution & yarn을 실행한다는 것입니다.

    java -cp $ CLASSPATH CLASSNAME (Yarn에서 로컬 모드로 작업을 시작합니다.)

    대신에

    원사 -cp $ CLASSPATH CLASSNAME

    또한 내가 배운 또 다른 사항은 다음 명령을 실행하여 HADOOP 클래스 경로를 얻을 수 있다는 것입니다.

    원사 classpath

  2. from https://stackoverflow.com/questions/25454938/job-keeps-running-in-localjobrunner-under-cloudera-5-1 by cc-by-sa and MIT license