[HADOOP] 다른 노드 클러스터 하둡 맵 작업을 예약하는 방법
HADOOP다른 노드 클러스터 하둡 맵 작업을 예약하는 방법
나는 10 개 이상의 맵을 가지고 전용 맵 프로그램이있다. 내 클러스터가 5 개 노드가, 내 질문은 : 나는 어떤 노드에 매핑하는 작업 실행을 예약 할 수 있습니까? 예를 들어, 1 번지도, 노드 1에서 실행 3 번 맵에 Node5에서 실행 노드 3과 9 번지도에서 실행 할 수 있습니다. 내가 그렇게 할 수 있다면, 내 코드와 설정 파일에 어떤 변화가 필요하다. 그런데, 나는 HDFS를 사용합니다. 감사!
해결법
-
==============================
1.선호도는 노드 매핑지도 작업의 하둡에 설정할 수 없습니다. 스케줄러는 자동으로지도 작업을 실행할 수있는 데이터 지역 / 슬롯의 상태에 따라 결정한다.
선호도는 노드 매핑지도 작업의 하둡에 설정할 수 없습니다. 스케줄러는 자동으로지도 작업을 실행할 수있는 데이터 지역 / 슬롯의 상태에 따라 결정한다.
from https://stackoverflow.com/questions/15647815/how-to-scheduling-hadoop-map-tasks-in-different-node-cluster by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하둡은 joda 종속성을 찾을 수 없습니다 (0) | 2019.09.26 |
---|---|
[HADOOP] 하둡 M / R 차 종류는 사용자의 마지막 이름에 기지를 작동하지 (0) | 2019.09.26 |
[HADOOP] 키 탭을 사용하여 oozie 작업을 제출 (0) | 2019.09.26 |
[HADOOP] 두싯 IntDoubleProcedure NoClassDefFoundError를 (0) | 2019.09.26 |
[HADOOP] 곧 unnest JSON (0) | 2019.09.26 |