8

我要描述的本质上是两个不同系统之间的两阶段提交问题,我正在寻找有关如何处理它的建议。在我们的 Web 应用程序中,我们将一些昂贵的/第 3 方操作(例如发送电子邮件)卸载到带外后台工作进程(我们称之为工作基础架构)。

例如,要发送电子邮件,我们在数据库中创建电子邮件对象和电子邮件作业。然后,我们必须等待我们的作业监视器接收电子邮件作业并将其发送。作业监视器的工作原理是在空闲时每隔几秒轮询一次数据库。

然而,这增加了电子邮件发送的延迟,并通过轮询增加了我认为对数据库的过度负载。如果我们可以在创建电子邮件后立即将电子邮件作业放入队列中,那就更好了。

然而,这目前由于两个原因而失败。首先,队列通常比 Web 请求快得多。电子邮件在 Web 请求提交其数据库事务之前被拾取进行处理,因此它无法正确生成电子邮件。其次,如果 Web 请求失败,它会回滚其数据库事务,这意味着不应发送电子邮件。但是,如果它已经被放入队列,那么它就不再受请求的控制。

是否有在队列和数据库之间创建两阶段提交的好策略?作为参考,我们将 RabbitMQ 和 MySQL 与 InnoDB 表一起使用。我想到的一个想法是在提交数据库事务后将电子邮件作业保留在队列中,但这会留下电子邮件永远不会排队的可能性。我仍然需要创建一个轮询过程来监视应该发送和未发送的电子邮件。

4

1 回答 1

1

我意识到这已经晚了几年:) 但我想为遇到这个问题的其他人添加一些想法。

您可以延迟发送消息,以增加数据库在作业获取时准备就绪的机会。我从来没有使用过 RabbitMQ,但我发现了这个使用 rabbitMQ 队列作为延迟队列的示例如何在 RabbitMQ 中创建延迟队列?. 您的电子邮件作业仍然需要处理任何未注释的记录,因为延迟不是处理分布式处理的确定性方法。

也就是说,感觉您的设计还有改进的空间。通常,对于服务架构,在服务之间共享数据库表是个坏主意。它会导致分布式事务和扩展问题。我会尝试确保 RabbitMQ 消息包含独立于任何其他服务处理电子邮件所需的所有数据。或者,如果它需要更多数据,它应该通过 ServiceBus 请求而不是 DB 查询来请求这些数据。

于 2014-02-14T20:30:27.240 回答