假设我们有多个长时间运行的管道节点。检查点或缓存中间结果似乎很简单，所以当检查点之后的节点被更改或添加时，只有这些节点必须再次执行。
Kedro 是否提供功能来确保当我运行管道时只执行那些已更改的步骤？反过来，有没有办法确保执行所有已更改的步骤？
假设一个产生一些中间结果的管道发生了变化，当我根据第一个输出执行管道时，它会被执行吗？
TL;DR： Kedro 是否makefile对需要做什么和不做什么有类似的跟踪？
我认为我的问题类似于issue #341，但我不需要循环图的支持。
问问题
235 次
1 回答
2
您可能希望查看IncrementalDataSet以及分区数据集文档，特别是关于增量数据集的增量加载部分，该部分具有“检查点”的概念，尽管检查点是手动步骤，而不是像makefile.
于 2020-06-05T13:08:35.297 回答