postgresql - sSpark 结构化流 PostgreSQL updatestatebykey

Question

如何通过由INPUT PostgreSQL 表中的更改触发的 Spark 结构化流计算来更新OUTPUT TABLE的状态？

作为现实生活场景中的 USERS 表已更新user_id = 0002，如何仅为该用户触发 Spark 计算并将结果写入/更新到另一个表？

Answer 1

虽然没有开箱即用的解决方案，但您可以通过以下方式实现它。

您可以使用 Linkedin 的Databus或其他类似工具来挖掘数据库日志并为 kafka 生成相应的事件。该工具跟踪数据库 bin 日志中的更改。您可以编写一个 kafka 连接器来转换和过滤数据。然后，您可以使用来自 kafka 的事件并将它们处理为您想要的任何接收器格式。