[HADOOP] 기술은 하둡의 기본 스케줄러를 알고

기술은 하둡의 기본 스케줄러를 알고

나는 3 우분투 시스템 12.04에서 다중 노드 설치를 설치했습니다. 난 기본적으로하는 스케줄러를 실행하려면 three.Now 나는 모두 Hadoop1.2.1을 사용하고 ??? 어떻게 Hadoop1.2.1에서 실행되는 기본 스케줄러를 확인하려면?

해결법

1. ==============================

   1.하둡의 기본 스케줄러는 FIFO 스케줄러입니다 JobQueueTaskScheduler이다. 기본 스케줄러로서 당신은 mapred-default.xml에있는 속성 mapred.jobtracker.taskScheduler을 참조 할 필요가있다. 당신은 당신이 귀하의 요구 사항에 따라 CapacityScheduler 또는 FairScheduler 하나에 기본 스케줄러를 변경합니다.

   하둡의 기본 스케줄러는 FIFO 스케줄러입니다 JobQueueTaskScheduler이다. 기본 스케줄러로서 당신은 mapred-default.xml에있는 속성 mapred.jobtracker.taskScheduler을 참조 할 필요가있다. 당신은 당신이 귀하의 요구 사항에 따라 CapacityScheduler 또는 FairScheduler 하나에 기본 스케줄러를 변경합니다.

   mapred-site.xml 파일은 구성 디렉토리 내에서 찾을 수 있습니다 mapred-default.xml에, 내부 디폴트 값을 대체하는 데 사용됩니다. 당신은 하둡 바이너리 배포판과 함께 구성 디렉토리에 mapred 기본 파일을 찾을 수 없습니다 (RPM, DEB 등), 대신 mapred-default.xml에이 jar 파일의 하둡 코어-1.2.1.jar 내에서 직접 확인할 수 있습니다.

   hackzon:~/hadoop-1.2.1$ jar -tvf hadoop-core-1.2.1.jar  | grep mapred-default.xml
    47324 Mon Jul 22 15:12:48 IST 2013 mapred-default.xml
   

   이 파일은 addDefaultResource ()와 같은 메소드에 인수로 아래에 언급 된 하둡 소스 파일에 사용됩니다

   addDefaultResource("mapred-default.xml");   // First
   addDefaultResource("mapred-site.xml");   // Second
   

   처음 mapred-default.xml에로드 할 것, 다음 mapred-site.xml 파일을. 오버라이드 (override) 할 필요가 속성 mapred-site.xml의 내부에 지정 될 수 있도록

   org.apache.hadoop.conf.Configuration.java
   org.apache.hadoop.mapred.JobConf.java
   org.apache.hadoop.mapred.TaskTracker.java
   org.apache.hadoop.mapred.JobClient.java
   org.apache.hadoop.mapred.JobTracker.java
   org.apache.hadoop.mapred.JobHistoryServer.java
   

   소스 코드의에서보세요.

2. ==============================

   2.고토하여 리소스 관리자 UI와 아래는 "도구", "구성"을 클릭하거나 URL을 입력합니다. 자원 관리자 도메인 이름으로 <자원 관리자> 교체합니다.

   고토하여 리소스 관리자 UI와 아래는 "도구", "구성"을 클릭하거나 URL을 입력합니다. 자원 관리자 도메인 이름으로 <자원 관리자> 교체합니다.

   에 http : // <자원 관리자> : 8088 / conf의

   당신이 원하는 모든 설정을 검색합니다.

3. ==============================

   3.많은 노력 후, 나는 마침내 하둡-1.1.2에서 실행되는 스케줄러를 확인하는 방법을 얻었다. 워드 카운트 작업을 실행 한 후 나는 JobTracker에 웹 인터페이스로 갔다. 작업 기록에 대한이 이동합니다. 작업 파일의 존재 오른쪽은 하나 개의 링크가있을 것입니다. 그것을 클릭하면 스케줄러와 같은, DFS 복제 등 모든 것을 얻을 것이다

   많은 노력 후, 나는 마침내 하둡-1.1.2에서 실행되는 스케줄러를 확인하는 방법을 얻었다. 워드 카운트 작업을 실행 한 후 나는 JobTracker에 웹 인터페이스로 갔다. 작업 기록에 대한이 이동합니다. 작업 파일의 존재 오른쪽은 하나 개의 링크가있을 것입니다. 그것을 클릭하면 스케줄러와 같은, DFS 복제 등 모든 것을 얻을 것이다

   또한에서 선생님 하둡-1.1.2에 대한 아파치 문서에 명시된 바와 같이 우리가 어떤 속성을 추가 할 필요는 mapred-site.xml의 파일을 하둡은-1.1.2.

from https://stackoverflow.com/questions/23026960/technique-to-know-the-default-scheduler-in-hadoop by cc-by-sa and MIT license