我要描述的本质上是两个不同系统之间的两阶段提交问题,我正在寻找有关如何处理它的建议。在我们的 Web 应用程序中,我们将一些昂贵的/第 3 方操作(例如发送电子邮件)卸载到带外后台工作进程(我们称之为工作基础架构)。
例如,要发送电子邮件,我们在数据库中创建电子邮件对象和电子邮件作业。然后,我们必须等待我们的作业监视器接收电子邮件作业并将其发送。作业监视器的工作原理是在空闲时每隔几秒轮询一次数据库。
然而,这增加了电子邮件发送的延迟,并通过轮询增加了我认为对数据库的过度负载。如果我们可以在创建电子邮件后立即将电子邮件作业放入队列中,那就更好了。
然而,这目前由于两个原因而失败。首先,队列通常比 Web 请求快得多。电子邮件在 Web 请求提交其数据库事务之前被拾取进行处理,因此它无法正确生成电子邮件。其次,如果 Web 请求失败,它会回滚其数据库事务,这意味着不应发送电子邮件。但是,如果它已经被放入队列,那么它就不再受请求的控制。
是否有在队列和数据库之间创建两阶段提交的好策略?作为参考,我们将 RabbitMQ 和 MySQL 与 InnoDB 表一起使用。我想到的一个想法是在提交数据库事务后将电子邮件作业保留在队列中,但这会留下电子邮件永远不会排队的可能性。我仍然需要创建一个轮询过程来监视应该发送和未发送的电子邮件。