apache-spark - DSMS、Storm 和 Flink 的区别

Question

DSMS 对应于数据流管理系统。这些系统允许用户提交将持续执行的查询，直到被用户删除。

像 Storm 和 Flink 这样的系统可以被视为 DSMS 还是更通用的东西？

谢谢

Answer 1

两种类型的系统在尝试解决不同的用例时彼此更加正交。因此，没有一个确实包含另一个，或者是另一个的概括。

DSMS 通常是：

• 将存储和计算作为统一解决方案提供的端到端解决方案
• 需要先将外部数据导入系统
• 通常，DSMS 是面向 SQL 的，这使得它们易于使用，但通常它们的表现力较差
• 通常只能处理结构化数据（基于模式的元组格式）
• DSMS 通常无法扩展

流处理框架（Flink、Storm、Spark）：

• 只提供计算层和来自其他存储系统的消费者数据
• 大多数提供语言嵌入式 DSL（有些还提供 SQL）
• 可以处理任何类型的数据（平面元组、JSON、XML、平面文件、文本）
• 构建以扩展到大型集群（数百个节点）
• 适合数据处理、机器学习

流媒体平台（Kafka）

• 提供存储层和计算
• 只要导入系统就可以处理任何类型的数据（平面元组、JSON、XML、平面文件、文本）
• 可扩展且有弹性
• 没有 SQL，只有 Java DSL（基于 Kafka 的Confluent 平台提供KSQL作为开发者预览版）
• 非常好构建微服务