[HADOOP] Flume과 Sqoop의 차이점은 무엇입니까?

Flume과 Sqoop의 차이점은 무엇입니까?

Flume과 Sqoop은 모두 데이터 이동을위한 것이고 그 다음에는 그 차이점이 무엇입니까? Flume 또는 Sqoop을 사용해야하는 조건은 무엇입니까?

해결법

1. ==============================

   1.http://flume.apache.org/에서

   http://flume.apache.org/에서

   Flume은 로그, jms, 디렉토리 등과 같은 다양한 소스에서 데이터를 수집하는 데 도움이됩니다. 다수의 flume 에이전트를 구성하여 대량의 데이터를 수집 할 수 있습니다. 가로로 비례합니다.

   http://sqoop.apache.org/에서

   Sqoop은 hadoop과 다른 데이터베이스간에 데이터를 이동하는 데 도움이되며 성능을 위해 병렬로 데이터를 전송할 수 있습니다.

2. ==============================

   2.Sqoop과 Flume 모두 소스에서 데이터를 가져와 싱크대로 밀어 넣습니다. 가장 큰 차이점은 Flume이 이벤트 구동이며 Sqoop은 이벤트 구동이 아니라는 점입니다.

   Sqoop과 Flume 모두 소스에서 데이터를 가져와 싱크대로 밀어 넣습니다. 가장 큰 차이점은 Flume이 이벤트 구동이며 Sqoop은 이벤트 구동이 아니라는 점입니다.

3. ==============================

   3.Flume : 매우 일반적인 사용 사례는 하나의 시스템 (웹 서버 뱅크)에서 로그 데이터를 수집하는 것입니다 (나중에 분석하기 위해 HDFS에 집계).

   Flume : 매우 일반적인 사용 사례는 하나의 시스템 (웹 서버 뱅크)에서 로그 데이터를 수집하는 것입니다 (나중에 분석하기 위해 HDFS에 집계).

   Sqoop : 반면에 구조화 된 데이터 저장소에서 HDFS로 대량 가져 오기를 수행하도록 설계되었습니다. 간단한 사용 사례는 야간 sqoop 가져 오기를 실행하여 분석을 위해 프로덕션 DB에서 하이브 데이터웨어 하우스로 하루의 데이터를로드하는 조직입니다.

   - 최종 가이드에서.

4. ==============================

   4.Flume :

   Flume :

     Flume is a framework for populating Hadoop with data. Agents are populated 
     throughout ones IT infrastructure – inside web servers, application servers
     and mobile devices, for example – to collect data and integrate it into Hadoop.
   

   Sqoop :

     Sqoop is a connectivity tool for moving data from non-Hadoop data stores – such
     as relational databases and data warehouses – into Hadoop. It allows users to 
     specify the target location inside of Hadoop and instruct Sqoop to move data 
     from Oracle,Teradata or other relational databases to the target. 
   

   전체 소식을 볼 수 있습니다.

5. ==============================

   5.Apache Sqoop은 JDBC 연결성이있는 모든 종류의 관계형 데이터베이스 시스템과 잘 작동하도록 설계되었습니다.

   Apache Sqoop은 JDBC 연결성이있는 모든 종류의 관계형 데이터베이스 시스템과 잘 작동하도록 설계되었습니다.

   4.Flume은 JMS 또는 Spooling 디렉토리와 같은 다양한 소스에서 대량 스트리밍 데이터를 이동할 때 더 나은 선택입니다. Sqoop은 데이터가 Teradata, Oracle, MySQL 서버, Postgres 또는 다른 JDBC 호환 데이터베이스와 같은 데이터베이스에 있으면 이상적입니다. Apache Sqoop을 사용하는 것이 가장 좋습니다.

   5. Apache Flume에서 데이터는 여러 채널을 통해 HDFS로 흐르고, Apache Sqoop HDFS에서는 데이터 가져 오기 대상이됩니다.

   6.Acache Flume은 에이전트 기반 아키텍처를 가지고 있습니다. 즉, flume으로 작성된 코드는 데이터를 가져 오는 에이전트로 알려져 있지만 Apache Sqoop에서는 아키텍처가 커넥터를 기반으로합니다. Sqoop의 커넥터는 다양한 데이터 소스와 연결하고 이에 따라 데이터를 가져 오는 방법을 알고 있습니다.

   마지막으로 Sqoop과 Flume은 다른 목적을 위해 특별히 개발 된 것과 동일한 작업을 수행 할 수 없습니다. Apache Flume 에이전트는 웹 서버에서 Twitter의 트윗과 같은 스트리밍 데이터 또는 로그 파일을 가져 오도록 설계된 반면 Sqoop 커넥터는 구조화 된 데이터 소스로만 작동하고 데이터를 가져 오도록 설계되었습니다.

   Apache Sqoop은 분산, 안정적인 특성 및 고 가용성 백업 경로로 인해 Apache Flume이 데이터 수집 및 집계에 사용되는 곳에서 데이터를 신속하게 복사하므로 데이터 가져 오기의 병렬 데이터 전송에 주로 사용됩니다.

6. ==============================

   6.Sqoop과 Flume은 모두 데이터 처리 요구 사항을 충족시키기위한 것이지만 다른 용도로 사용됩니다. Apache Flume은 여러 서버의 로그 파일과 같이 hadoop 환경에서 지속적으로 생성되는 스트리밍 데이터 소스에 잘 작동하는 반면 Apache Sqoop은 JDBC 연결이있는 RDBMS와 잘 작동합니다.

   Sqoop과 Flume은 모두 데이터 처리 요구 사항을 충족시키기위한 것이지만 다른 용도로 사용됩니다. Apache Flume은 여러 서버의 로그 파일과 같이 hadoop 환경에서 지속적으로 생성되는 스트리밍 데이터 소스에 잘 작동하는 반면 Apache Sqoop은 JDBC 연결이있는 RDBMS와 잘 작동합니다.

   Sqoop은 실제로 hadoop과 다른 구조화 된 데이터 저장소 간의 대량 데이터 전송을 의미합니다. Flume은 여러 소스의 로그 데이터를 수집하고 집계하여 HDFS에 기록합니다.

   나는 두 아파치 프로젝트 인 Sqoop과 Flume의 차이점을 설명하는이 흥미로운 정보를 보았다.

   Sqoop과 Flume의 차이점

7. ==============================

   7.Sqoop

   Sqoop

   Flume

from https://stackoverflow.com/questions/19521655/whats-the-difference-between-flume-and-sqoop by cc-by-sa and MIT license