python - 将不同的任务分配给不同的芹菜工人

Question

我正在使用以下命令运行我的服务器：

celery worker -Q q1,q2 -c 2

这表明我的服务器将处理队列q1和上的所有任务q2，并且我有 2 个工作人员正在运行。我的服务器应该支持 2 个不同的任务：

@celery.task(name='test1')
def test1():
    print "test1"
    time.sleep(3)

@celery.task(name='test2')
def test2():
    print "test2"

如果我将我的test1任务发送到 queueq1和test2to q2，两个工作人员都将运行这两个任务。所以结果将是：

test1
test2
test1
test2
...

现在我需要的是我的一名工人处理test1和另一名处理test2。一种解决方案是像这样运行两个芹菜工人：

celery worker -Q q1 -c 1
celery worker -Q q2 -c 1

每个人处理 1 个队列。但我想让它们更清洁并使用-c 2. 我找到了Celery Routing，但不确定这是否是我想要的。

score 13 · Accepted Answer

我找到了答案，我把它放在这里以防其他人也想做同样的事情：

代替 using celery worker -Q q1,q2 -c 2，celery multi可以使用：

celery multi start 2 -Q:1 q1 -Q:2 q2 -c:1 1 -c:2 1

这表示我们有 2 个队列：-Q:1 q1表示队列 #1 的名称为q1且相同，q2并且每个队列都有不同的并发，-c:1 1这意味着第一个 celery worker 的并发为 1。

1 回答 1