python - 如果上游任务的输入发生变化，在 Prefect 核心中是否有一种简单的方法使缓存无效？

Question

如果上游任务常量输入更改，我正在尝试构建一种机制来使任务的缓存无效。

我目前对每个任务的输入常量进行哈希处理，然后将其用作目标。我在想我可以建立当前任务输入以及上游任务输入的哈希值。正在考虑通过使用 Flow 对象中的常量和边来做到这一点。

这似乎是一个很常见的问题，想看看是否有一种简单的方法来实现它？

Answer 1

最后，我调整了我现有的解决方案，该解决方案xxhash用于为每个任务制作常量的哈希值。

在进行更改之前，我的每项任务的目标看起来像这样：

'{task_name}_{hash_of_input_constants}'

解决方案其实很简单，我只是为直接连接的上游任务附加输入常量的哈希值，所以当只有一个直接连接的上游任务时，目标会变成这样：

'{task_name}_{hash_of_input_constants_curent_task}_{hash_of_input_constants_directly_connected_upstream}'

如果上游输入发生更改，这将使缓存无效。