1

我正在使用 celery 处理和部署一些数据,我希望能够分批发送这些数据。

我发现了这个: http ://docs.celeryproject.org/en/latest/reference/celery.contrib.batches.html

但是我遇到了问题,例如:

  • 它不能很好地与 eventlet 一起使用,在日志文件中放置异常,说明队列为空后计时器为空。

  • 调用后似乎留下了额外的挂起线程celery multi stop

  • 它似乎不遵守典型的标准日志记录 Task

  • raise mytask.retry()调用时似乎不会重试任务。

我想知道其他人是否遇到过这些问题,是否有解决方案?

我可以自己实现批处理,但我不知道确保部署所有项目的好策略(即即使是线程末尾的项目)。

另外,如果批次失败,我想重试整个批次。我不确定有什么优雅的方法可以做到这一点。

基本上,我正在寻找任何可行的解决方案来用芹菜进行真正的批处理。

我正在使用 Celery v3.0.21

谢谢!

4

0 回答 0