rabbitmq - 为什么 celery 会向 rabbitmq 添加数千个队列，这些队列在任务完成后似乎仍然存在很长时间？

Question

我正在使用带有rabbitmq后端的芹菜。它在 rabbitmq 中生成了数千个队列，其中包含 0 或 1 个项目，如下所示：

$ sudo rabbitmqctl list_queues
Listing queues ...
c2e9b4beefc7468ea7c9005009a57e1d        1
1162a89dd72840b19fbe9151c63a4eaa        0
07638a97896744a190f8131c3ba063de        0
b34f8d6d7402408c92c77ff93cdd7cf8        1
f388839917ff4afa9338ef81c28aad75        0
8b898d0c7c7e4be4aa8007b38ccc00ea        1
3fb4be51aaaa4ac097af535301084b01        1

这似乎效率低下，但我进一步观察到，这些队列在处理完成后会持续很长时间。

我发现似乎正在执行此操作的任务：

@celery.task(ignore_result=True)
def write_pages(page_generator):  
    g = group(render_page.s(page) for page in page_generator)
    res = g.apply_async()

    for rendered_page in res:
        print rendered_page # TODO: print to file

似乎因为这些任务是在一个组中调用的，所以它们被放入队列中但从未被释放。但是，我显然正在消耗结果（因为我可以在迭代时查看它们正在打印res。所以，我不明白为什么这些任务会保留在队列中。

此外，我想知道正在创建的大量队列是否表明我做错了什么。

感谢您对此的任何帮助！

score 20 · Accepted Answer

带有 AMQP 后端的 Celery 会将任务墓碑（结果）存储在以产生结果的任务 ID 命名的 AMQP 队列中。即使在结果耗尽后，这些队列也会持续存在。

几个建议：

将 ignore_result=True 应用于您可以执行的每项任务。不要依赖其他任务的结果。
切换到不同的后端（也许 Redis ——它更有效）：http ://docs.celeryproject.org/en/latest/userguide/tasks.html

score 4 · Accepted Answer

使用CELERY_TASK_RESULT_EXPIRES（或在 4.1 上CELERY_RESULT_EXPIRES）定期清理任务从 rabbitmq 中删除旧数据。

http://docs.celeryproject.org/en/master/userguide/configuration.html#std:setting-result_expires

rabbitmq - 为什么 celery 会向 rabbitmq 添加数千个队列，这些队列在任务完成后似乎仍然存在很长时间？

2 回答 2

Related

Reference