8

我知道可以为谷歌云上的培训作业部署自定义容器,并且我已经能够使用命令获得相同的运行。

gcloud ai-platform jobs submit training infer name --region some_region --master-image-uri=path/to/docker/image --config config.yaml

训练工作成功完成,模型成功获取,现在想用这个模型进行推理,但是问题是我的代码有一部分系统级依赖,所以我必须对架构进行一些修改才能让它一直运行。这就是首先为培训工作提供自定义容器的原因。

据我所知,该文档仅适用于训练部分和推理部分,(如果可能的话)自定义容器尚未探索。

此链接上提供了培训部分文档

我的问题是,是否可以在 google cloud-ml 上部署自定义容器以进行推理?

4

1 回答 1

0

此响应指的是使用 Vertex AI Prediction,这是 GCP 上 ML 的最新平台。

假设您将模型工件从训练作业写入云存储。

下一步是创建自定义容器并推送到注册表,方法类似于此处描述的内容:

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements

本节介绍如何将模型工件目录传递给自定义容器以用于干预:

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements#artifacts

您还需要创建一个端点来部署模型:

https://cloud.google.com/vertex-ai/docs/predictions/deploy-model-api#aiplatform_deploy_model_custom_trained_model_sample-gcloud

最后,您将使用gcloud ai endpoints deploy-model ...将模型部署到端点:

https://cloud.google.com/sdk/gcloud/reference/ai/endpoints/deploy-model

于 2022-02-11T19:12:22.417 回答