dask - 如何与 Dask 一起运行一组节点

Question

我有一个图像处理图，我想批量处理许多图像。我的图表如下所示：

当我运行图形散景显示执行路径是这样的：

这会导致我的机器内存不足并崩溃，因为加载图像的输出是兆字节的图像。我希望图表像这样运行，因为 Save 结果非常小，应该没问题：

我怎么能用 dask 做到这一点？

自定义优化似乎在我可以融合中间节点的地方很有用。这是最好的方法吗？

Answer 1

Dask 更喜欢执行可以释放内存的任务，这在您的示例中应该是深度方面的。但是，它也为您提供了并行性；所以最简单的方法可能是只拥有一名工人。

确实，图中的线性链是 fuse 的一个很好的例子。您可以自己调用优化（dask.optimization.inline_functions, dask.optimization.fuse，不需要自定义），或者您可以编写一个函数，在单个任务中依次显式调用每个子任务（save(process(load(..)))）。