mysql - 使用 Debezium 将所有数据库表捕获到一个 Kafka 主题

Question

如何配置 Debezium 以将数据库中的所有表发布到单个 Kafka 主题？

可能吗？

Answer 1

默认情况下，Debezium 为每个数据库+表写出一个主题

不过，您可能想查看有关主题路由的文档

Debezium 使您能够使用单个消息转换或 SMT 在消息到达转换器之前重新路由发出的更改。Debezium 提供的 SMT 使您能够根据正则表达式和替换模式重写主题和密钥，每个 Debezium 实例都可以配置。

所以你可以尝试类似的东西

transforms=Combine
transforms.Combine.type=io.debezium.transforms.ByLogicalTableRouter
transforms.Combine.topic.regex=(.*)
transforms.Combine.topic.replacement=all_tables

您可以在 Kafka Connect 文档部分找到其他 SMT 示例，我认为 RegexRouter 值得一试