0

我在一个项目中工作。我们正在使用事件源架构进行实时流处理。我创建了一个融合的 kafka 连接器,用于从 mongodb 读取数据并写入 kafka。我发现这个过程有 6 到 10 秒的延迟。检查后,我的同事说这种延迟是由于 mongo 写入数据库和副本以及 oplog 之间的延迟。因此,使用 lag 写入 oplog 的数据和 kafka conenctor 从 oplog 读取数据,因此 lag 传播。我想看看如何将延迟减少到 1 或 2 秒。我使用 mongodb 4.x 和 confluent-kafka-connect-jdbc-5.4.1-1

4

0 回答 0