복붙노트

[HADOOP] 다른 노드 클러스터 하둡 맵 작업을 예약하는 방법

HADOOP

다른 노드 클러스터 하둡 맵 작업을 예약하는 방법

나는 10 개 이상의 맵을 가지고 전용 맵 프로그램이있다. 내 클러스터가 5 개 노드가, 내 질문은 : 나는 어떤 노드에 매핑하는 작업 실행을 예약 할 수 있습니까? 예를 들어, 1 번지도, 노드 1에서 실행 3 번 맵에 Node5에서 실행 노드 3과 9 번지도에서 실행 할 수 있습니다. 내가 그렇게 할 수 있다면, 내 코드와 설정 파일에 어떤 변화가 필요하다. 그런데, 나는 HDFS를 사용합니다. 감사!

해결법

  1. ==============================

    1.선호도는 노드 매핑지도 작업의 하둡에 설정할 수 없습니다. 스케줄러는 자동으로지도 작업을 실행할 수있는 데이터 지역 / 슬롯의 상태에 따라 결정한다.

    선호도는 노드 매핑지도 작업의 하둡에 설정할 수 없습니다. 스케줄러는 자동으로지도 작업을 실행할 수있는 데이터 지역 / 슬롯의 상태에 따라 결정한다.

  2. from https://stackoverflow.com/questions/15647815/how-to-scheduling-hadoop-map-tasks-in-different-node-cluster by cc-by-sa and MIT license