我的问题与变更数据捕获和实时更新有关。我有一个 mysql 数据库，它有近 250 个表，其更改数据是使用 debezium 捕获的，并根据各自的主题发送到 kafka。
这些表是高度规范化的，我对通过连接一些表创建的非规范化视图感兴趣。现在我需要知道表中是否有变化，我可以将其视为近乎实时的非规范化主题的变化。
我怎么能这样做。日志压缩是如何工作的？为了获得非规范化的主题视图，我是否需要记录所有主题？
我在这里还有什么其他可能性？
问问题
66 次
1 回答
1
这不是很容易实现。
以下是您可以尝试的一些选项。
- 第一个选项是使用 KSQL
https://debezium.io/blog/2018/05/24/querying-debezium-change-data-eEvents-with-ksql/
- 另一种选择是创建聚合视图
https://debezium.io/blog/2018/09/20/materializing-aggregate-views-with-hibernate-and-debezium/
- 我们尝试解决类似问题的另一个选项是在 Kafka 上安装流式侦听器，然后在其中设置逻辑以将数据合并到已在另一个数据存储上设置的非正常数据结构中
于 2022-02-08T09:33:41.467 回答