1

我有以下情况：

  • 调用了一些操作，结果创建了多个任务（数千个）
  • 它们（它们的状态和详细信息）存储在数据库表中
  • 我需要以某种方式在多个节点上执行这些任务

因此，显而易见的方法是为每个创建的任务（10000 个任务 - 10000 条消息）发送一条 JMS 消息，并且一个消费者池（每个节点）将执行它们 - 但这看起来有点过头了 - 侦听器需要获取任务无论如何，从 DB 通知它应该工作下一个任务就足够了，就好像 - 发送一条消息（“工作下一个任务”）并以某种方式将其设置为传递 10000 次。

如何解决这个问题？发送 10000 条消息真的是最好的主意吗？

此外，ActiveMQ 有这个消息调度的东西 [1] - 也许只是将周期设置为 0 并重复到 10000？那会正常工作吗？除了上面提到的还有没有更好的方法？

[1] http://activemq.apache.org/delay-and-schedule-message-delivery.html

4

1 回答 1

0

实际上，您可以使用 Redis 来存储已完成任务的 id (1..n)。并使用“set”数据结构。

键看起来像任务列表：

每个键将包含已完成任务的 ID。

因此，当您开始一项包含 1000 个异步任务的工作时。您为此作业生成一些唯一的 ID，并使用任务 ID 发送，当任务完成时，工作人员（处理此任务的人员）应在 DB（Redis）中添加此 ID。并且当最后一个工作人员在 DB 中保存 id 并且设置的任务大小相等时（您应该在每个任务之后检查它）——所有任务都完成了，这样您就可以发送另一条消息或进行其他任何操作。

Redis 提供非常快速的访问和非常快的少数数据结构。

于 2013-03-26T09:21:00.220 回答