看起来 Kubeflow 已经弃用了所有的 TFX 组件。我目前有一些自定义 Kubeflow 组件可以帮助启动我的一些数据管道，我希望我可以在同一个 kubeflow 管道中使用一些 TFX 组件。是否有推荐的方法将 Kubeflow 和 Tfx 组件混合在一起？
我看到一个来自 Kubeflow 的旧 PR 弃用了他们的 TFX 组件： https ://github.com/kubeflow/pipelines/issues/3853
它指出：
创建这些组件是为了允许用户在其 KFP 管道中使用 TFX 组件，以便能够混合 KFP 和 TFX 组件。如果您的管道仅使用 TFX 组件，请使用官方 TFX SDK。
但我实际上确实需要混合 KFP 和 TFX 组件，有没有办法做到这一点？
简单的答案是否定的，长答案是你可以，如果你破解它。不过体验不会很好。
当您查看示例 TFX 管道时，它有自己的 Python DSL。作为用户，您可以按照您希望的运行方式定义管道组件，最后您可以更改目标运行器（Airflow、Beam 和 KFP）。TFX 将在将其提交给您选择的跑步者之前编译它的中间表示。
那么问题是如何将其与其他工具混合使用。TFX 编译 Argo 工作流 DAG，类似于使用 KFP SDK 或 Couler。当您使用 KubeflowDAG 运行程序时，您可以找到管道的输出 Argo YAML。如果您使用 KFP 原生管道重复相同的编译过程，您将拥有两个 Argo YAML，您可以将它们合并在一起以实现您想要的特定工作负载。
如果您使用的是 MLMD，您可能需要进行一些输入/输出操作才能使其正常工作。