22

Flume 和 Sqoop 都是用于数据移动的，那么它们之间有什么区别呢？在什么情况下我应该使用 Flume 或 Sqoop？

4

7 回答 7

26

来自http://flume.apache.org/

Flume 是一种分布式、可靠且可用的服务，用于高效收集、聚合和移动大量日志数据。

Flume 有助于从各种来源收集数据，如日志、jms、目录等。
可以配置多个 Flume 代理来收集大量数据。
它水平缩放。

来自http://sqoop.apache.org/

Apache Sqoop(TM) 是一种工具，设计用于在 Apache Hadoop 和结构化数据存储（如关系数据库）之间高效传输批量数据。

Sqoop 有助于在 hadoop 和其他数据库之间移动数据，并且它可以并行传输数据以提高性能。

于 2013-10-22T17:47:34.767 回答
12

Sqoop 和 Flume 都从源中提取数据并将其推送到接收器。主要区别在于 Flume 是事件驱动的，而 Sqoop 不是。

于 2013-10-22T15:54:27.170 回答
5

水槽：

  Flume is a framework for populating Hadoop with data. Agents are populated 
  throughout ones IT infrastructure – inside web servers, application servers
  and mobile devices, for example – to collect data and integrate it into Hadoop.

小号：

  Sqoop is a connectivity tool for moving data from non-Hadoop data stores – such
  as relational databases and data warehouses – into Hadoop. It allows users to 
  specify the target location inside of Hadoop and instruct Sqoop to move data 
  from Oracle,Teradata or other relational databases to the target.

你可以看到完整的帖子

于 2013-10-23T06:11:05.700 回答
4

Flume：一个非常常见的用例是从一个系统收集日志数据——一组 Web 服务器（将其聚合到 HDFS 中以供以后分析）。

Sqoop：另一方面，设计用于将数据从结构化数据存储中批量导入 HDFS。一个简单的用例将是一个组织，它每晚运行一次 sqoop 导入，以将当天的数据从生产数据库加载到 Hive 数据仓库中进行分析。

——来自权威指南。

于 2013-10-22T15:23:36.460 回答
1
  1. Apache Sqoop 和 Apache Flume 使用各种数据源。Flume 在流数据源中运行良好，这些数据源在 hadoop 环境中连续生成，例如来自多个服务器的日志文件。

而 Apache Sqoop 旨在与任何类型的具有 JDBC 连接性的关系数据库系统一起工作。

  1. Sqoop 还可以从 NoSQL 数据库（如 MongoDB 或 Cassandra）导入数据，还允许直接数据传输或 Hive 或 HDFS。为了使用 Apache Sqoop 工具将数据传输到 Hive，必须创建一个表，该表的模式取自数据库本身。

  2. 在 Apache Flume 中，数据加载是事件驱动的，而在 Apache Sqoop 中，数据加载不是由事件驱动的。

4.Flume 是从各种来源（如 JMS 或 Spooling 目录）移动批量流数据时更好的选择，而如果数据位于 Teradata、Oracle、MySQL Server、Postgres 或任何其他 JDBC 兼容数据库等数据库中，则 Sqoop 是理想选择最好使用 Apache Sqoop。

5.在 Apache Flume 中，数据通过多个通道流向 HDFS，而在 Apache Sqoop 中，HDFS 是导入数据的目的地。

6.Apache Flume 具有基于代理的架构，即在 Flume 中编写的代码称为代理，它负责获取数据，而在 Apache Sqoop 中，架构基于连接器。Sqoop 中的连接器知道如何连接各种数据源并相应地获取数据。

最后，Sqoop 和 Flume 不能用于完成相同的任务，因为它们是专门为不同目的而开发的。Apache Flume 代理旨在获取流数据，例如来自 Twitter 的推文或来自 Web 服务器的日志文件，而 Sqoop 连接器旨在仅处理结构化数据源并从中获取数据。

Apache Sqoop 主要用于并行数据传输，用于数据导入，因为它可以快速复制数据，而 Apache Flume 用于收集和聚合数据，因为它具有分布式、可靠的特性和高度可用的备份路由。

于 2017-12-03T08:43:22.007 回答
0

Sqoop 和 Flume 都旨在满足数据摄取需求，但它们的用途不同。Apache Flume 适用于在 hadoop 环境中连续生成的流式数据源，例如来自多个服务器的日志文件，而 Apache Sqoop 适用于任何具有 JDBC 连接性的 RDBMS。

Sqoop 实际上是用于 hadoop 和任何其他结构化数据存储之间的批量数据传输。Flume 从多个来源收集日志数据，将其聚合，并将其写入 HDFS。

我遇到了这个有趣的信息图，它解释了两个 apache 项目Sqoop 和 Flume之间的差异-

Sqoop 和 Flume 的区别

于 2016-07-18T10:10:44.313 回答
0

Sqoop

  • Sqoop 可以执行从 RDBMS 到 HDFS/HIVE/HBASE 的导入/导出
  • sqoop 仅导入/导出非结构化或半结构化的结构化数据。

水槽

  • 从多个来源导入流数据，其中大部分是半结构化和非结构化的。现在Kafka是flume的更好替代品。
于 2016-08-18T18:49:56.310 回答