apache-kafka - 将 KsqlDB 用作 HIstorian DB

Question

我想创建一个历史数据库，将 Kafka 主题中的数据记录并检索到永久数据库。

我正在尝试使用 KsqlDB 来做到这一点，我试图使用来自 ksql 的表和流，但它随着 Kafka 主题的消亡（保留期的延长）而消失。我的问题是“是否可以将 ksqldb 用作 kafka 的历史学家？”谢谢。

Answer 1

Kafka 数据当然可以是永久性的（log.retention.ms=-1 或 cleanup.policy=compact），尽管您不需要 ksqlDB 来做到这一点。默认情况下，一个表应该是无限可用的，因为它将由一个压缩的 Kafka 主题支持

有趣的是，《纽约时报》将他们所有的文章存储在一个单独分区的 Kafka 主题中，以按时间对他们的文章进行排序。

请注意，ksqlDB 是基于 Kafka Streams 构建的处理引擎。它不是数据库。