python - 通过 Celery 中的许多队列进行数据本地化？

Question

我们正在尝试设计一个分布式管道，以并行方式处理大量数据块。我们正朝着采用 celery 的方向发展，但其中一个要求是我们需要能够将某些作业映射到集群中的某些节点，例如，如果只有一个节点可以访问某个数据块。

想到的第一个答案是多个队列，甚至可能每个节点一个队列，用于大量（~64）节点。这是可行的，有效的吗？芹菜队列是轻量级的吗？有没有更好的办法？

Answer 1

迄今为止我找到的最佳答案在这里：

Celery 是否适合与许多小型分布式系统一起使用？

这表明 Celery 确实非常适合这个用例。也许我会在我们实施后再次更新。