1

我们要做模型服务基础设施。我正在比较Google AI Prediction和kfserving。但是我找不到足够的关于 google ai 服务的特性以及它是如何实现的文档。

似乎gcloud ai-platform versions create可以创建模型版本资源并开始服务，这是我能找到的唯一一点。

我有三个问题：

1、google ai服务和kfserving是什么关系？

2、如何gcloud ai-platform versions create工作？

3、关于google ai服务的功能，google ai服务是否提供https://www.kubeflow.org/docs/components/serving/overview/中列出的所有功能，如canary rollout、explainers、monitoring等？

4

2 回答 2

1

您共享的文档包含有关Google AI Platform Prediction的大量信息。总之，它是 GCP 中的托管服务，您无需管理基础架构。您只需部署模型，即可使用新的 REST 端点开始通过 SDK 或 API 发送预测。

  • 支持多种框架：
    • TensorFlow
    • scikit-学习
    • XGBoost
    • 火炬
    • 自定义 Docker 容器（很快）
  • 支持 GPU
  • 型号版本
  • 在线和批量预测
  • 记录和监控
  • 多个区域
  • REST API

回答您的问题：

  1. KFServing 你需要管理自己的 K8s/KubeFlow 基础设施。Kubeflow 支持两种允许多框架模型服务的模型服务系统：KFServing 和 Seldon Core。AI Platform Service，您无需管理基础设施，也不需要 K8s/KF，您只需部署模型，GCP 负责基础设施。

  2. gcloud ai-platform versions create将在 Google Cloud 中部署一个虚拟机，根据设置（运行时）和框架，所有依赖项都将自动安装，加载模型所需的所有内容也将安装，以便您可以访问 REST API。

  3. Canary 可以与不同的模型和版本一起使用，它可能取决于路由您的预测。检查What If 工具和模型记录。

于 2020-04-20T22:29:19.383 回答
0
  1. Google AI Platform 可用于管理 ML 工作流程中的以下阶段：

-根据您的数据训练 ML 模型：

训练模型 评估模型准确性 调整超参数

-部署您训练有素的模型。

- 向您的模型发送预测请求：

在线预测批量预测（仅适用于 TensorFlow）

- 持续监控预测。

- 管理您的模型和模型版本。

  1. KFServing 支持在 Kubernetes 上进行无服务器推理，并为 TensorFlow、XGBoost、scikit-learn、PyTorch 和 ONNX 等常见机器学习 (ML) 框架提供高性能、高度抽象的接口，以解决生产模型服务用例。
于 2022-02-17T17:36:13.607 回答