假设我有 4 个节点 dask 集群,其中在节点 1 上运行 dask-scheduler,而在其余节点上运行 dask-workers。我集体提交了 5 个长期运行的任务。所以在这种情况下发生的是,3 个任务处于运行模式,另外 2 个处于等待状态。但我不想等待 dask-worker 空闲,而是想启动一个新的 worker,因为任务是长期运行的。
有什么办法可以在 dask 中实现这一点。?
假设我有 4 个节点 dask 集群,其中在节点 1 上运行 dask-scheduler,而在其余节点上运行 dask-workers。我集体提交了 5 个长期运行的任务。所以在这种情况下发生的是,3 个任务处于运行模式,另外 2 个处于等待状态。但我不想等待 dask-worker 空闲,而是想启动一个新的 worker,因为任务是长期运行的。
有什么办法可以在 dask 中实现这一点。?