5

对于我正在进行的项目，我使用 Redis 跨多个进程分发消息。现在，我应该让它们可靠。

我考虑通过 BRPOPLPUSH 命令使用可靠队列模式。此模式建议处理线程在作业成功完成后通过 lrem 命令从“处理列表”中删除额外的消息副本。

当我使用多个线程来弹出时，弹出项目的额外副本会从多个线程进入处理列表。也就是说，处理队列包含多个线程弹出的元素。因此，如果一个线程完成了它的工作，它就无法知道要从“处理队列”中删除哪个项目。

为了克服这个问题，我认为我应该基于threadId维护多个处理队列（每个线程一个）。所以，我的 BRPOPLPUSH 将是：

BRPOPLPUSH <primary-queue> <thread-specific-processing-queue>

然后为了清理超时对象，我的监控线程必须监控所有这些线程特定的处理队列。

有没有比上面设想的更好的方法来解决这个问题？

4

1 回答 1

2

@user779159

为了支持可靠的队列机制，我们采用以下方法：

 - two data structures
    -- Redis List (the original queue from which items are popped regularly)
    -- a Redis z-set, which temporarily stores the popped item.

算法：

-- When an element is popped, we store in z-set 
-- If the task that picked the item completed its job, it will delete the entry from z-set.
-- If the task couldn't complete it, the item will be hanging around in z-set. So we know, whether a task was done within expected time or not.
-- Now, another background process periodically scans this z-set, picks up items which are timedout, and then puts them back to queue

它是如何完成的：

  • 我们使用 zset 来存储我们弹出的项目（通常使用 lua 脚本）。
  • 我们将超时值存储为该项目的排名/分数。
  • 另一个扫描程序进程将定期（比如每分钟）运行 z-set 命令 zrangebyscore，以选择（现在和最后 1 分钟）之间的项目。
  • 如果上面的命令找到了项目，这意味着弹出项目的进程（通过 brpop）没有及时完成它的任务。
  • 因此，第二个进程会将项目放回它最初所属的队列（redis 列表）中。
于 2016-11-06T03:52:58.930 回答