我想从一个巨大的 PostgreSQL 数据库中的几个表中捕获数据更改。最初我计划使用Debezium的逻辑解码功能。但是这个解决方案有很大的开销，因为它需要解码整个 WAL。另一种解决方案使用触发器和PgQ。是否有任何通用方法可以将 PgQ 与 Kafka 或可能为此目的的 Kafka 连接器集成？
问问题
158 次
1 回答
1
你要么去事务日志，要么去基于查询。
您使用哪个取决于您对数据的使用。基于查询的轮询数据库，基于日志的使用日志（WAL）。
我对您关于 Debezium 具有“重大开销”的断言感兴趣——您对此进行了量化吗？我知道有很多人在使用它，并且通常不会将其作为问题提出。
对于基于查询的捕获，请使用 Kafka Connect JDBC 源连接器。
您可以在此处查看每种方法的优缺点： http ://rmoff.dev/ksny19-no-more-silos
于 2019-11-25T16:15:12.193 回答