[HADOOP] Apache Sqoop과 Flume을 서로 바꿔 사용할 수 있습니까?
HADOOPApache Sqoop과 Flume을 서로 바꿔 사용할 수 있습니까?
빅 데이터를 처음 사용합니다. Flume과 Sqoop의 차이점은 무엇입니까?에 대한 답변 중 일부에서 Flume과 Sqoop은 소스에서 데이터를 가져와 Hadoop으로 푸시 할 수 있습니다. 누구든지 flume이 사용되는 곳과 sqoop이있는 곳에서 exaclty를 지정할 수 있습니까? 동일한 작업에 둘 다 사용할 수 있습니까?
해결법
-
==============================
1.Flume과 Sqoop은 서로 다른 종류의 데이터 소스와 함께 작동하도록 설계되었습니다.
Flume과 Sqoop은 서로 다른 종류의 데이터 소스와 함께 작동하도록 설계되었습니다.
Sqoop은 JDBC 연결을 지원하는 모든 종류의 RDBMS 시스템에서 작동합니다. 반면 Flume은 환경에서 지속적으로 생성되는 로그 데이터와 같은 스트리밍 데이터 소스와 잘 작동합니다.
구체적으로
예를 들어 flume은 데이터베이스와 함께 사용할 수없고 sqoop은 스트리밍 데이터 소스 나 플랫 파일과 함께 사용할 수 없습니다.
flume에 관심이 있다면 chukwa와 같은 것을 수행하는 대안이 있습니다.
from https://stackoverflow.com/questions/27162380/can-apache-sqoop-and-flume-be-used-interchangeably by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 스트리밍 작업을 위해 Hadoop 노드에 R 패키지를 임시로 설치 (0) | 2019.08.09 |
---|---|
[HADOOP] MapReduce 작업에서 Hive에 파티션 추가 (0) | 2019.08.09 |
[HADOOP] Combiner 또는 Partitioner를 누가 먼저 실행할 수 있습니까? (0) | 2019.08.09 |
[HADOOP] HTTP 콜백으로 외부 클라이언트가 Oozie 워크 플로우에 알리는 방법 (0) | 2019.08.09 |
[HADOOP] 하둡 순차 데이터 액세스 (0) | 2019.08.09 |