prefect - 如何使用完美的“映射”来并行化嵌套循环

Question

我试图弄清楚如何使用完美并行化嵌套循环，这需要在外部扇出/输入内进行内部扇出/输入。

如果我map()在外循环上使用，然后将外循环计算的一些结果也map()用于内循环输入unmapped()，这会产生内扇出吗？那么我该如何做一个“部分减少”以在外循环中使用内循环结果呢？

一个指针或例子将不胜感激。

Answer 1

在 Prefect Github 上链接与 OP 的对话以供后代使用：https ://github.com/PrefectHQ/prefect/issues/2786

为方便起见，我对该讨论的 tl;博士：截至撰写本文时（Prefect 版本 0.12.0）现有map语法不支持具有扇出/扇入的动态管道。今天的map语法仅支持具有恒定基数的并行管道。相反，您需要引入一个 reduce 步骤来重新配置您的输出，以便将它们提交到新地图。