我有一个 Dask 集群,在本地机器上运行了 32 个工作人员,并尝试针对它运行以下 Streamz 工作流:
我只看到在任何特定时间都有几个工人被占用:
我看到在本地运行时占用率增加:
client = Client(n_workers=32, processes=True, threads_per_worker=1, memory_limit='32GB')
但在任何给定时间仍然没有接近 32 名工人被占用(最多约 8 名)。
为什么会这样,为什么任务流显示的并行运行的任务比占用率建议的要多?