9

我目前正在设计一个 Web 应用程序,它允许用户安排将针对 HTTP API(代表他们)执行的任务。任务可以重复出现,可用于调度的最小时间分辨率为一分钟。由于任务的性质,我认为异步执行它们是有意义的。但是,这部分的架构应该是怎样的呢?

我考虑过使用任务队列通过 Web 应用程序创建任务并让它们由工作人员执行。在这种情况下,我有几个问题:

  • 如何处理重复性任务?
  • 如何轻松保存任务结果?
  • 是否可以轻松地使队列“持久化”?
  • 工人应该直接与数据库交互吗?
  • 我应该手动排队重复任务吗?

我还能考虑什么?由于我认为我不是唯一一个考虑这种 Web 应用程序架构的人,是否有任何“最佳实践”?任务队列是要走的路吗?

4

1 回答 1

10

是的,这是在 Web 应用程序后端处理长期任务的众所周知的模式。根据您的语言和应用程序框架,有许多队列实现 - 例如ResqueBeanstalkdActiveMQ,或者如果您的性能要求不高,您可以将数据库表用作一种队列。

基本思想是您的 Web 应用程序将作业放置在具有足够内容的队列上以使作业能够继续。后台的一组工作进程(理想情况下独立于您的 Web 应用程序运行)从队列中读取作业并执行它们。结果可以写回回复队列或写入数据库。这取决于您希望如何将结果显示给用户。对于 Web 应用程序,将结果写入数据库可能更有意义。

根据您的队列处理程序,它们可以使作业持久化。例如,ActiveMQ 支持持久消息传递,以便在发生故障时恢复队列中的消息。

您询问重复性工作 - 我认为答案取决于他们何时需要重复工作。

直接消息队列将在消息可用时立即处理/释放消息给工作人员。所以调度是棘手的或不可能的。为了支持计划的作业(包括在给定时间或经过一段时间后重复的作业),您可能应该将数据库表用作具有“开始时间”属性的简单队列。

我最近在这里描述了一个类似的模式。

于 2011-05-06T12:32:52.663 回答