[HADOOP] 도커 컨테이너에서 hadoop 클러스터 실행

도커 컨테이너에서 hadoop 클러스터 실행

다른 노드의 도커 컨테이너 안에 각 노드가있는 다중 노드 클러스터를 실행하고 싶습니다. 이 이미지 - https://github.com/sequenceiq/hadoop-docker는 pseudo distributed 모드에서 hadoop을 시작하는 데 적합합니다.이 노드를 별도의 ec2 호스트에있는 다른 컨테이너에 갖도록 수정하는 가장 쉬운 방법은 무엇입니까?

해결법

1. ==============================

   1.두 개의 서로 다른 우분투 호스트에서 마스터 노드와 슬레이브 노드를 실행하는 두 컨테이너로이 작업을 수행했습니다. 컨테이너를 사용하여 직물을 사용하여 네트워킹을했습니다. 도커 허브 계정 div4에 컨테이너의 이미지를 추가했습니다. 나는 다른 호스트에 설치된 것과 같은 방식으로 hadoop을 설치했다. 여기에 haddop을 실행하기 위해 두 개의 이미지를 커머와 함께 추가했습니다.

   두 개의 서로 다른 우분투 호스트에서 마스터 노드와 슬레이브 노드를 실행하는 두 컨테이너로이 작업을 수행했습니다. 컨테이너를 사용하여 직물을 사용하여 네트워킹을했습니다. 도커 허브 계정 div4에 컨테이너의 이미지를 추가했습니다. 나는 다른 호스트에 설치된 것과 같은 방식으로 hadoop을 설치했다. 여기에 haddop을 실행하기 위해 두 개의 이미지를 커머와 함께 추가했습니다.

   https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/.

2. ==============================

   2.sequenceiq의 사람들은 다른 클라우드 공급자와 함께 작업하고 쉽게 hadoop 클러스터를 작성하도록 설계된 cloud-break라는 새 프로젝트를 작성했습니다. 당신은 자격증 명을 입력하면 모든 제공자에게 똑같이 적용됩니다.

   sequenceiq의 사람들은 다른 클라우드 공급자와 함께 작업하고 쉽게 hadoop 클러스터를 작성하도록 설계된 cloud-break라는 새 프로젝트를 작성했습니다. 당신은 자격증 명을 입력하면 모든 제공자에게 똑같이 적용됩니다.

   그래서 ec2의 경우, 이것은 아마도 (아마도 멋진 GUI 때문에) 가장 쉬운 해결책 일 것입니다.

   https://github.com/sequenceiq/cloudbreak-deployer

from https://stackoverflow.com/questions/27008522/run-a-hadoop-cluster-on-docker-containers by cc-by-sa and MIT license