[HADOOP] Apache Storm과 Hadoop 비교

Apache Storm과 Hadoop 비교

Storm과 Hadoop의 차이점은 무엇입니까? Hadoop은 오픈 소스 대규모 일괄 처리를위한 기본 표준 인 것처럼 보이지만 Storm은 hadoop에 비해 어떤 이점도 있습니까? 아니면 완전히 다른가요?

해결법

1. ==============================

   1.왜 네 의견을 말하지 않는거야?

   왜 네 의견을 말하지 않는거야?

   Twitter Storm은 실시간 Hadoop으로 선전되었습니다. 그것은 쉬운 소비를 위해 더 많은 마케팅이 필요합니다.

   둘 다 분산 된 응용 프로그램 솔루션이므로 표면적으로 유사합니다. 마스터 / 슬레이브, 사육사 기반 코디네이션과 같은 일반적인 분산 아키텍처 요소 외에도 절충은 절벽에서 떨어진다.

   Twitter는 데이터 처리를위한 pipline과 같습니다. 파이프는 데이터를 수신하고 출력을 계산하고 전달하는 다양한 컴퓨팅 노드를 연결합니다. (이 용어는 스파우트와 볼트입니다.) 필요한 경우 다시 엔지니어링 할 수있는 복잡한 파이프 라인 배선에이 비유를 확장하면 트위터 스톰이 생깁니다.

   너트 쉘 (nut shell)에서는 데이터를 처리합니다. 대기 시간이 없습니다.

   하둡 (Hadoop)은 HDFS 때문에이 점에서 얼마나 다른지를 주로 보여줍니다. 분산 저장 장치와 많은 저울 (디스크, 기계, 랙 등)의 작동 중지에 대한 내구성을 갖춘 솔루션입니다.

   M / R은 HDFS의 데이터 로컬라이제이션을 활용하여 전산 작업을 분산 할 수 있도록 제작되었습니다. 함께, 그들은 실시간 데이터 처리를위한 시설을 제공하지 않습니다. 하지만 대용량 데이터를 살펴볼 때 반드시 필요한 것은 아닙니다. (건초 더미 비유의 바늘)

   즉, Twitter Storm은 분산 실시간 데이터 처리 솔루션입니다. 나는 우리가 그들을 비교해야한다고 생각하지 않는다. 트위터는 작고 짹짹지만 풍만한 숫자를 실시간으로 처리 할 수있는 시설이 필요했기 때문에 지어졌습니다.

   참조 : 당신이 어떤 것으로 그것을 비교하도록 강요받는다면 HStreaming

2. ==============================

   2.기본적으로이 둘은 큰 데이터를 분석하는 데 사용되지만 Storm은 실시간 처리에 사용되고 Hadoop은 배치 처리에 사용됩니다.

   기본적으로이 둘은 큰 데이터를 분석하는 데 사용되지만 Storm은 실시간 처리에 사용되고 Hadoop은 배치 처리에 사용됩니다.

   이것은 내가 발견 한 폭풍에 대한 아주 좋은 소개입니다 : 여기를 클릭하십시오.

3. ==============================

   3.비교하기보다는 배치 + 실시간 (의사 실시간) 처리를 통해 서로를 보완하기로되어 있습니다. 해당 비디오 프레 젠 테이션 - 트위터의 폭풍에 대한 Ted Dunning

   비교하기보다는 배치 + 실시간 (의사 실시간) 처리를 통해 서로를 보완하기로되어 있습니다. 해당 비디오 프레 젠 테이션 - 트위터의 폭풍에 대한 Ted Dunning

4. ==============================

   4.나는 Storm을 한동안 사용 해왔고 이제는 놀라운 기술을 위해이 훌륭한 기술을 중단했습니다 : Spark (http://spark.apache.org) 개발자에게 배치 또는 스트리밍 처리를위한 통합 API를 제공합니다 (마이크로 - 배치)뿐만 아니라 기계 학습 및 그래프 처리.

   나는 Storm을 한동안 사용 해왔고 이제는 놀라운 기술을 위해이 훌륭한 기술을 중단했습니다 : Spark (http://spark.apache.org) 개발자에게 배치 또는 스트리밍 처리를위한 통합 API를 제공합니다 (마이크로 - 배치)뿐만 아니라 기계 학습 및 그래프 처리.

   한번 해볼만 한 가치가있어.

5. ==============================

   5.폭풍은 빠른 데이터 (실시간) 용이고 Hadoop은 빅 데이터 (기존 데이터 톤)입니다. Storm은 Big 데이터를 처리 할 수 ​​없지만 Big 데이터를 출력으로 생성 할 수 있습니다.

   폭풍은 빠른 데이터 (실시간) 용이고 Hadoop은 빅 데이터 (기존 데이터 톤)입니다. Storm은 Big 데이터를 처리 할 수 ​​없지만 Big 데이터를 출력으로 생성 할 수 있습니다.

6. ==============================

   6.하둡 생태계에는 많은 하위 시스템이 존재하기 때문에 비즈니스 요구 사항 및 특정 시스템의 실현 가능성에 따라 적절한 하위 시스템을 선택해야합니다.

   하둡 생태계에는 많은 하위 시스템이 존재하기 때문에 비즈니스 요구 사항 및 특정 시스템의 실현 가능성에 따라 적절한 하위 시스템을 선택해야합니다.

   Hadoop MapReduce는 한 번에 하나의 작업을 일괄 처리하는 데 효율적입니다. 이것이 Hadoop이 데이터 분석 도구가 아닌 데이터웨어 하우징 도구로 광범위하게 사용되는 이유입니다.

   질문은 "Storm"과 "Hadoop"만 관련이 있으므로 Storm 사용 사례 - 금융 서비스, 통신, 소매, 제조, 운송을 살펴보십시오.

   Hadoop, Storm 및 Spark를 비교해 보려면이 기사를 참고하십시오. 유사점과 차이점을 설명합니다.

   그것은 아래 사진과 함께 요약 될 수 있습니다 (dezyre 기사에서)

from https://stackoverflow.com/questions/11250028/apache-storm-compared-to-hadoop by cc-by-sa and MIT license