[HADOOP] Hadoop on EC2와 Elastic Map Reduce

Hadoop on EC2와 Elastic Map Reduce

이 두 옵션의 차이점을 평가하려고합니다. 내가 생각할 수있는 장단점은 다음과 같습니다.

Elastic Map Reduce => Amazon에서 더 나은 지원, 클러스터 관리 불필요, 더 비싸다 (?) EC2 + Hadoop => 당신의 hadoop 설정에 대한 더 많은 통제, 더 싼 (?)

누군가 EC2 + Hadoop의 성능을 EMR과 비교하여 벤치마킹했는지 궁금합니다. 대규모 클러스터 배포에 대한 비용에 중요한 차이가 있습니까? 다른 차이점은 무엇입니까?

해결법

1. ==============================

   1.우리는 두 가지 접근법 (EMR과 EC2)을 제 직업에서 사용합니다.

   우리는 두 가지 접근법 (EMR과 EC2)을 제 직업에서 사용합니다.

   아마르 (Amar)가 언급 한 EMR의 장점은 더 많거나 적은 사실입니다. 단순성을 원한다면 갈 길이 멀지 않을 수 있습니다.

   그러나 다른 고려 사항이 있습니다.

   hadoop @ domU-12-31-39-07-B9-97 : ~ $ ll hadoop * .jar lrwxrwxrwx 1 hadoop hadoop 73 2 5 12:00 hadoop-examples-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-examples-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 69 Feb 5 12:00 hadoop-test-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-test-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 69 Feb 5 12:00 hadoop-core-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-core-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 70 Feb 5 12:00 hadoop-tools-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-tools-0.20.205.jar lrwxrwxrwx 1 hadoop hadoop 68 Feb 5 12:00 hadoop-ant-0.20.205.jar -> /home/hadoop/.versions/0.20.205/share/hadoop/hadoop-ant-0.20.205.jar

2. ==============================

   2.클러스터 관리 / 모니터링 / 유지는 그 자체로 작은 작업이 아닙니다. EMR을 사용하면 실제로 컴퓨터를 구성한 후 사용자 정의 부트 스트랩 코드로 즉시 실행할 수 있습니다. 이 모든 것을 수행하는 것 외에도 EMR은 많은 다른 도구 / 옵션 / 기능을 제공합니다.

   클러스터 관리 / 모니터링 / 유지는 그 자체로 작은 작업이 아닙니다. EMR을 사용하면 실제로 컴퓨터를 구성한 후 사용자 정의 부트 스트랩 코드로 즉시 실행할 수 있습니다. 이 모든 것을 수행하는 것 외에도 EMR은 많은 다른 도구 / 옵션 / 기능을 제공합니다.

   여기서는 작업이 완료된 후에 클러스터 종료에 대해 걱정할 필요가 없지만 EC2 + Hadoop 설정에서 자신을위한 방법을 구현할 수는 있지만 EMR이이를 잘 수행합니다.

   또한 작업이 실행되는 동안에도 클러스터 크기를 조정할 수있는 기능이 있습니다!

   EMR과 함께 사용할 수있는 돼지와 하이브에는 S3의 파일을보다 쉽게 ​​작업 할 수있게 해주는 패치가 포함되어 있습니다.

   여기서도이 답변에서 EMR이 우세한 것을 알 수 있습니다.

from https://stackoverflow.com/questions/15177908/hadoop-on-ec2-vs-elastic-map-reduce by cc-by-sa and MIT license