我正在使用 celery 处理和部署一些数据,我希望能够分批发送这些数据。
我发现了这个: http ://docs.celeryproject.org/en/latest/reference/celery.contrib.batches.html
但是我遇到了问题,例如:
它不能很好地与 eventlet 一起使用,在日志文件中放置异常,说明队列为空后计时器为空。
调用后似乎留下了额外的挂起线程
celery multi stop
它似乎不遵守典型的标准日志记录
Task
。raise mytask.retry()
调用时似乎不会重试任务。
我想知道其他人是否遇到过这些问题,是否有解决方案?
我可以自己实现批处理,但我不知道确保部署所有项目的好策略(即即使是线程末尾的项目)。
另外,如果批次失败,我想重试整个批次。我不确定有什么优雅的方法可以做到这一点。
基本上,我正在寻找任何可行的解决方案来用芹菜进行真正的批处理。
我正在使用 Celery v3.0.21
谢谢!