[HADOOP] Docker 컨테이너의 Hadoop이 더 빠르거나 가치가 있습니까? [닫은]
HADOOPDocker 컨테이너의 Hadoop이 더 빠르거나 가치가 있습니까? [닫은]
하둡 기반 환경이 있습니다. 이 시스템에서 Flume, Hue 및 Cassandra를 사용합니다. 오늘날 Docker에는 큰 과대 광고가 있으므로이 경우 Dockerization의 장단점이 무엇인지 살펴보고 싶습니다. 훨씬 이식성이 좋을 것이라고 생각하지만 클릭 몇 번으로 Cloudera Manager를 사용하여 설정할 수 있습니다. 아마도 더 빠르거나 왜 가치가 있습니까? 장점은 무엇입니까? 다중 노드 Cassandra 클러스터 만도 커화해야합니까?
해결법
-
==============================
1.이미 하둡 클러스터가있는 것 같습니다. 따라서이 환경을 재현하는 데 얼마나 걸립니까? 이 환경을 얼마나 자주 재현해야합니까?
이미 하둡 클러스터가있는 것 같습니다. 따라서이 환경을 재현하는 데 얼마나 걸립니까? 이 환경을 얼마나 자주 재현해야합니까?
환경을 반복적으로 재현 할 수있는 방법이 필요하지 않고 호스트의 다른 응용 프로그램과 충돌 할 수있는 종속성이 포함 된 경우 아직 사용 사례가 표시되지 않습니다.
혼합 Java 버전이 필요할 수있는 환경에서 Hadoop을 실행하는 경우 컨테이너로 실행하면 호스트 시스템에서 종속성 (이 경우 Java)이 분리 될 수 있습니다. 경우에 따라 이동 및 설정을 위해보다 쉽게 재현 가능한 인공물을 얻을 수 있습니다. 그러나 Java 응용 프로그램은 JAR에 포함 된 모든 종속성으로 이미 너무 간단합니다.
나는 그것이 다중 노드 환경인지 아닌지에 달려 있다고 생각하지 않습니다. 그것은 해결되는 문제로 귀착됩니다. 하둡 환경을 배포하거나 재생하는 데 어려움이있는 것 같지는 않지만 (아직도) 블록에서 가장 새로운 것이므로 무언가를 "도 커화"할 필요가 없습니다.
하둡 환경을 쉽게 재현 할 필요가있는 경우 오버레이 네트워크에서 애플리케이션 클러스터를 배포하고 관리하는 데 필요한 오케스트레이션 및 관리 도구 (Kubernetes, Rancher 등)를 Docker에서 살펴볼 수 있습니다. 그냥 일반 Docker. Docker는 내 눈의 도구 일뿐입니다. 다른 패키지가 그 위에 구축하고있는 깔끔한 오버레이 멀티 호스트 네트워킹, 검색 및 오케스트레이션을 활용할 수있을 때 실제로 빛을 발합니다.
from https://stackoverflow.com/questions/35245592/is-hadoop-in-docker-container-faster-worth-it by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop MapRed를 사용하여 순서 정렬 (0) | 2019.08.08 |
---|---|
[HADOOP] Hadoop-Reducer가 매퍼 입력을 기다리고 있습니까? (0) | 2019.08.08 |
[HADOOP] RDD는 첫 번째 열 값만 갖습니다. Hbase, PySpark (0) | 2019.08.08 |
[HADOOP] Spark Scala를 사용하여 HiveContext를 사용하여 Hive 테이블에 데이터 삽입 (0) | 2019.08.08 |
[HADOOP] sqoop 가져 오기 또는 내보내기 중 잘못된 레코드 처리 (0) | 2019.08.08 |