복붙노트

[HADOOP] 어떻게 AWS 자동 스케일링을 사용하여 마스터 1, 2 코어 노드 내 AWS EMR 클러스터를 확장 할 수 있습니까? 방법이 있나요?

HADOOP

어떻게 AWS 자동 스케일링을 사용하여 마스터 1, 2 코어 노드 내 AWS EMR 클러스터를 확장 할 수 있습니까? 방법이 있나요?

나는 AWS EMR을 사용하여 클러스터를 구현했습니다. 나는 하둡 부트 스트랩 동작 2 개 코어 노드와 마스터 ndoe 있습니다. 지금, 나는 자동 스케일링을 사용하여 동적으로 CPU 임계 값 및 다른 제약 조건에 따라 클러스터 크기를 조정하고 싶습니다. 하지만, 난 이미 기존 클러스터에 자동 확장 기능을 사용하는 방법에 대한 웹에 많은 정보가 아니므로 아무 생각이 없습니다. 어떤 도움.

해결법

  1. ==============================

    1.현재 당신은 자동 스케일링 그룹에 EMR 클러스터를 시작할 수 없습니다. 그러나 당신은 SQS 큐 클러스터를 수정 AWS CLI 또는 SDK를 사용하는 대기열에서 소요되는 스크립트에 CloudWatch에서 경보 알림을 제공함으로써 매우 비슷한 목표를 달성 할 수있다.

    현재 당신은 자동 스케일링 그룹에 EMR 클러스터를 시작할 수 없습니다. 그러나 당신은 SQS 큐 클러스터를 수정 AWS CLI 또는 SDK를 사용하는 대기열에서 소요되는 스크립트에 CloudWatch에서 경보 알림을 제공함으로써 매우 비슷한 목표를 달성 할 수있다.

  2. from https://stackoverflow.com/questions/25512375/how-do-i-scale-my-aws-emr-cluster-with-1-master-and-2-core-nodes-using-aws-auto by cc-by-sa and MIT license