我们实际上使用 Docker Swarm 来管理我们的集群。一些服务使用 swarm-cronjob 进行调度并在固定时间运行,但我们需要更大的灵活性。
所以我们决定给 Prefect 一个机会,它看起来很有希望,但我们无法找到它如何或是否有可能与暖节点一起工作。
一个案例是在集群的一个专用节点上运行一个任务,流的一部分,由一个特定的标签标识。
是否有对 docker swarm 或一些实验的原生支持?让 prefect 和 docker swarm 一起工作的最佳方式是什么?我们需要在 docker swarm 上使用 Dask 集群还是有其他方法?