问题标签 [kfp]

我想做一个实验

这是我的代码：

报错内容如下：

我正在尝试开发一个 kubeflow 管道组件。它拉出一个（如果我简化的话）一个简单的 docker 图像：

但是，在拉取 docker 映像时，kfp 需要运行，python3 -m ensurepip但我收到一条错误消息/usr/bin/python3: No module named ensurepip。我试图添加：

到我的 Dockerfile 但现在我收到错误消息：

尝试运行 ensurepip 命令时。您是否看到任何解决方案来完成这项工作？我使用的是 kfp 版本 1.7.1，因为它受到 spacy 的限制......谢谢！

我当前的管道在 ParallelFor 操作中跨多个用户运行训练过程，例如：

我的目标是添加在上述所有组件完成运行后执行的“总结”步骤。该组件将编译所有用户的报告，因此它不应存在于ParallelFor

每个组件的结果都被记录到数据库中，因此摘要组件通过查询数据库而不是尝试“扇入”ParallelFor 运算符来获取其数据。

我已经尝试指定在 train 步骤之后运行，create_summary_step(run_id).after(train)但是这样会在ParallelFor.

通过在运行完成后手动运行摘要组件，我取得了一些成功，例如client.wait_for_run_completion(...)，但这限制了我将管道编译和上传到 EKS，这是最终目标。