问题标签 [maxwell]

我正在构建一个数据管道，它使用Maxwell Daemon实时读取 MySQL 二进制日志，Maxwell Daemon 将数据推送到 Redis 流。我已经构建了一个客户端，它使用来自 Redis 流的数据来处理它。目前，我正在使用具有几毫秒睡眠时间的无限循环来轮询XREAD ，以使用流中的数据，但我发现这是一个低效的解决方案。

我正在寻找一种方法，我可以以某种方式订阅 Redis 流，并在新条目添加到流时收到通知，并遇到这个GitHub 问题，他们谈论使用 Redis 发布/订阅和流来实现此功能。

有没有更有效的方式来构建这个系统？

我正在寻找一种解决方案来从 3 节点 percona mysql 集群中捕获所有数据库更改（创建、删除、更新），并将更新发送到 Kibana 等可视化工具以搜索事件。许多人建议使用 mysql bin log--> Debezium/maxwell-->Apache kafka--> Ekasticsearch(kibana)。我对此设置有以下问题，

1. 我是否选择了正确的解决方案
2. 拥有 100 个数据库，每个 db 有 100 个表，如何捕获所有更改？我看到这个主题只能为特定的表和带有 debezium 的特定数据库创建。
3. 使用 maxwell，我可以获得所有更改输出，但是在停止和启动 maxwell/db 的情况下无法从我们离开的地方恢复。

任何帮助表示赞赏。