mysql - 来自 MySQL bin 日志的并行处理

Question

我们目前正在将 bin 日志从 Mysql 流式传输到其他数据库。

我们面临的问题是事件的顺序，我们无法进行并行处理，即写入bin log的事件是按时间排序的，我们不能轻易在下游数据库中进行并行查询插入，并且在单个连接上插入非常慢，因为下游数据库是柱状数据库。

无论如何，我们是否可以以一种可以有效并行化辅助数据库中的持久性的方式读取事件。

Answer 1

由于 binlog 包含事件流而不是那一刻的数据快照，.. 我们不能通过并行事件处理来框出状态。

如果您确定，您的表不相互依赖，那么运行 N（假设您有 N 个表）binlog 处理器与每个表名称上的过滤条件并行。

另一种方法是将多个依赖表分组为集合，并具有过滤条件以通过单个 binlog 进程处理特定的表集。您可以拥有尽可能多的集合。