1

我有一个 Dask 集群,在本地机器上运行了 32 个工作人员,并尝试针对它运行以下 Streamz 工作流:

在此处输入图像描述

我只看到在任何特定时间都有几个工人被占用:

在此处输入图像描述

我看到在本地运行时占用率增加:

client = Client(n_workers=32, processes=True, threads_per_worker=1, memory_limit='32GB')

但在任何给定时间仍然没有接近 32 名工人被占用(最多约 8 名)。

为什么会这样,为什么任务流显示的并行运行的任务比占用率建议的要多?

4

0 回答 0