python - 在 dask 中设计计算图

Question

到目前为止，我已经使用 dask withget和字典来定义我的任务的依赖关系图。但这意味着我必须从一开始就定义我的所有图表，现在我想不时添加新任务（依赖于旧任务）。

我已经阅读了这个distributed包，它看起来很合适。我已经看到了两个可能的选项来定义我的图表：

1. 使用delayed, 并定义每个任务之间的依赖关系：

   t1 = delayed(f)()
   t2 = delayed(g1)(t1)
   t3 = delayed(g2)(t1)
   dask.compute([t2, t3])
   

2. 使用map/ submit，并执行以下操作：

   t1 = client.submit(f)
   t2 = client.map(g1, [t1])[0]
   t3 = client.map(g2, [t1])[0]
   

你觉得什么更合适？谢谢！

Answer 1

如果你的目标是随着时间的推移改变你的计算，那么你应该使用 Dask 的 concurrent.futures API，这里描述：

http://dask.pydata.org/en/latest/futures.html