python - 在 dask 或 Dramatiq 中带有 (bind=True) 的芹菜？

Question

我使用 celery 已经有一段时间了，但由于缺乏 Windows 支持，我正在寻找替代方案。

顶级竞争对手似乎是 dask 和 Dramatiq。我真正在寻找的是可以将 1000 个长时间运行的任务分配到 10 台机器上的东西。每个人都应该在完成任务后接下一个工作，并给出一个带有更新的回调（在 celery 中，这可以通过 @task(bind=True) 很好地实现，因为可以访问任务实例本身并且我可以发送状态返回给发送更新的实例）。

Dramatiq 或 dask 中是否有类似的功能？任何建议，将不胜感激。

Answer 1

在 Dask 方面，您可能正在寻找期货界面：https ://docs.dask.org/en/latest/futures.html

期货有一个基本状态，如“已完成”、“待处理”或“错误”，您可以随时检查。如果您想要更复杂的消息，那么您应该查看 Dask Queues、PubSub 或其他任务间通信机制，也可以从该文档页面获得。