[HADOOP] 어떻게 동적으로 Dataproc에서 작업자의 CPU / RAM / 디스크를 업그레이드?

어떻게 동적으로 Dataproc에서 작업자의 CPU / RAM / 디스크를 업그레이드?

나는 구글 Dataproc에서의 기본 설정에 의해 클러스터 (4 개의 vCPU, 15기가바이트 램)을 만들었습니다. 여러 돼지 작업을 거쳐, 클러스터는 2-3 건강에 해로운 노드를했다. 그래서 노동자 VM의 (30기가바이트에 15기가바이트) 개의 vCPU (4 ~ 8 개의 vCPU), RAM 및 디스크를 업그레이드했습니다. 그러나 하둡 웹 인터페이스에 아직도의 vCPU / RAM / 디스크의 원래 마운트를 보여, 작업자 노드의 하드웨어를 변경하지 않은 보여 주었다.

어떻게 동적으로 Dataproc에서 작업자의 CPU / RAM / 디스크를 업그레이드 할 수 있습니다?

감사.

해결법

1. ==============================

   1.Dataproc에서 실행 클러스터에서 노동자 업그레이드에 대한 지원이 없습니다. 업그레이드하려면, 우리는 클러스터를 다시하는 것이 좋습니다. 또한 클러스터 업데이트 gcloud 명령을 통해 여분의 근로자를 추가 할 수 있습니다.

   Dataproc에서 실행 클러스터에서 노동자 업그레이드에 대한 지원이 없습니다. 업그레이드하려면, 우리는 클러스터를 다시하는 것이 좋습니다. 또한 클러스터 업데이트 gcloud 명령을 통해 여분의 근로자를 추가 할 수 있습니다.

   또한, 각 작업자 인스턴스를 중지 업그레이드하고 다시 시작하여 작업자 유형을 업그레이드 할 수 있습니다. 그러나, 다른 컨테이너의 사이즈를 수용하도록 변경해야 하둡 / 스파크 다수의 특성이있다.

from https://stackoverflow.com/questions/39073032/how-i-dynamically-upgrade-workers-cpu-ram-disk-in-dataproc by cc-by-sa and MIT license