kubernetes - Kubeflow Pipeline in serving model

Question

I'm beginning to dig into kubeflow pipelines for a project and have a beginner's question. It seems like kubeflow pipelines work well for training, but how about serving in production?

I have a fairly intensive pre processing pipeline for training and must apply that same pipeline for production predictions. Can I use something like Seldon Serving to create an endpoint to kickoff the pre processing pipeline, apply the model, then to return the prediction? Or is the better approach to just put everything in one docker container?

Answer 1

是的，你绝对可以用谢顿来服务。事实上，Kubeflow 团队提供了一种连接训练和服务的简单方法：fairing

Fairing 提供了一种部署预测端点的编程方式。您还可以查看此示例，了解如何使用您的训练结果部署您的 Seldon 端点。

Answer 2

KF Pipelines 专为从头到尾运行的管道而设计。服务过程没有终点，因此，尽管可能，服务本身应该在管道之外处理。

管道应该做的是将训练好的模型最终推送到持久服务服务。

服务可以通过 CMLE serving、Kubeflow 的 TFServe、Seldon 等进行。

我可以使用像 Seldon Serving 这样的东西来创建一个端点来启动预处理管道，应用模型，然后返回预测吗？

由于容器启动开销，Kubeflow Pipelines 通常处理批处理作业。当然，您可以为单个预测运行管道，但延迟可能无法接受。为了提供服务，最好有一个专门的长寿命容器/服务来接受请求、转换数据并进行预测。