0

我正在尝试使用 kedro 来运行工作流程。下图是我的工作流程(节点 1-3 是连续的,节点 31、32 和 33 是​​来自节点 3 的三个分支)。您可以看到 kedro 是从 1 到 3 顺序运行的,因为节点之间存在明显的依赖关系。但是,当涉及到 31、32 和 33 节点时,kedro 只是随机运行。它可以从 31 或 32 或 33 开始。有没有人知道我可以让 kedro 先运行 31,然后运行 ​​32,然后运行 ​​33?谢谢! 工作流程

我已经尝试标记所有节点,但是当kedro运行到31到33的节点时,运行顺序是随机保持的

4

1 回答 1

0

因此 Kedro 在运行时对节点进行拓扑排序,并且不能保证您获得相同的运行顺序。

人们经常尝试解决此问题的方法是将您的管道分解为子管道并通过 CLI 调用它们。

kedro run --pipeline a && kedro run --pipeline b

另一种选择是创建一个虚拟数据集依赖项,该依赖项强制节点按照您希望它运行的顺序运行。

于 2021-09-10T07:44:25.170 回答