git - 将 kubeflow 管道文件与 git 同步

Question

我想在本地对我的 python 脚本进行更改，然后将其推送到 git，然后在 Google Cloud 上运行 Kubeflow 管道。在云上运行文件之前，如何从 git 中提取最新提交？

Answer 1

有很多方法可以做到这一点。想想如果没有 Kubeflow 管道，你将如何做到这一点。想象一下，你有一个调用 python 脚本的 shell 脚本，你可以在云中运行它。你是如何进行同步的？

一些建议：

为确保可重复性，组件本身最好是不可变的。有多种方法可以实现这一目标。例如，您可以component.yaml在每个脚本修订版中推送一个新的。

然后是管道可重复性和组件版本控制的问题。理想情况下，管道应该严格链接到特定的组件版本（通过哈希摘要或提交哈希）。在这种情况下，将管道切换到新的组件版本意味着更新管道以将其指向新的组件版本。或者（更方便，但重现性较差），您可以使用分支（可变）指向组件版本。这样，python 管道每次编译时都会拉取新版本。（与可以表示管道的 Graph 组件相同）。但是请注意，编译后的管道将是静态的，其中包含内联的组件，因此更新管道将需要重新编译。

所以：

1. 推送更新的组件代码和更新的component.yaml文件
2. 将管道代码切换到新版本（或使用基于分支的引用）
3. 提交管道以供执行。