5

我的应用程序创建了必须按用户顺序处理的 resque 作业，并且应该尽可能快地处理它们（最大延迟 1 秒）。

示例：为 user1 创建 job1 和 job2，为 user2 创建 job3。Resque 可以并行处理 job1 和 job3，但是 job1 和 job2 应该顺序处理。

我对解决方案有不同的想法：

  • 我可以使用不同的队列（例如 queue_1 ... queue_10）并为每个队列启动一个工作人员（例如rake resque:work QUEUE=queue_1）。用户在运行时（例如登录时、每天等）被分配给队列/工作人员
  • 我可以使用动态“用户队列”（例如 queue_#{user.id}）并尝试扩展 resque 以使一次只能有 1 个工作人员处理一个队列（如Resque 中所述：每个队列一个工作人员）
  • 我可以将作业放在非 resque 队列中，并使用处理这些作业的 resque-lock ( https://github.com/defunkt/resque-lock ) 的“每用户元作业”。

您在实践中对其中一种情况有任何经验吗？还是有其他值得思考的想法？我将不胜感激任何输入，谢谢！

4

2 回答 2

5

感谢@Isotope的回答，我终于找到了一个似乎可行的解决方案（使用resque-retry并锁定redis：

class MyJob
  extend Resque::Plugins::Retry

  # directly enqueue job when lock occurred
  @retry_delay = 0 
  # we don't need the limit because sometimes the lock should be cleared
  @retry_limit = 10000 
  # just catch lock timeouts
  @retry_exceptions = [Redis::Lock::LockTimeout]

  def self.perform(user_id, ...)
    # Lock the job for given user. 
    # If there is already another job for the user in progress, 
    # Redis::Lock::LockTimeout is raised and the job is requeued.
    Redis::Lock.new("my_job.user##{user_id}", 
      :expiration => 1, 
      # We don't want to wait for the lock, just requeue the job as fast as possible
      :timeout => 0.1
    ).lock do
      # do your stuff here ...
    end
  end
end

我在这里使用来自https://github.com/nateware/redis-objects的 Redis::Lock （它封装了来自http://redis.io/commands/setex的模式）。

于 2012-06-07T14:16:23.477 回答
2

我以前做过。

确保按顺序处理此类事情的最佳解决方案是让 job1 的结尾对 job2 进行排队。然后job1和job2可以进入同一个队列或不同的队列，顺序无关紧要，这取决于你。

任何其他解决方案，例如同时排队作业 1+2，但告诉作业 2 在 0.5 秒内开始会导致竞争条件，因此不建议这样做。

让job1触发job2也很容易做到。

如果您想要另一个选项：我的最终建议是将两个作业捆绑到一个作业中，并添加一个参数以判断第二部分是否也应该被触发。

例如

def my_job(id, etc, etc, do_job_two = false)
  ...job_1 stuff...
  if do_job_two
    ...job_2 stuff...
  end
end
于 2012-04-11T09:12:12.667 回答