python - Dask 是否支持自定义图表中具有多个输出的函数？

Question

Dask的Custom Graphs API似乎只支持返回一个输出键/值的函数。

例如，以下依赖关系不能轻易地表示为 Dask 图：

    B -> D
   /      \
A-         -> F
   \      /
    C -> E

这可以通过在“复合”键下存储一个元组（例如，在这种情况下为“B_C”）然后将其拆分getitem()或类似来解决。但是，这会导致执行效率低下（例如不必要的序列化）并降低 DAG 可视化的清晰度。

有更好的方法还是目前不支持？

Answer 1

简短的回答

不，但这应该没关系。

编程接口

您是正确的，使用 Dask 管理多个输出的正确方法是使用 getitem。在编程接口方面，使用 dask.delayed 执行此操作的标准方法是使用您建议的 getitem。这是一个例子：

from dask import delayed

@delayed(pure=True)
def minmax(a, b):
    if a > b:
        return a, b
    else:
        return b, a

result = minmax(1, 2)
min, max = result[0], result[1]

表现

你提出了一个关于性能的有趣问题。在实践中，使用分布式调度程序（在单台机器上工作得很好）应该可以很好地处理这种情况而不会降低性能。对于单机线程调度程序也是如此。