0

我一直在探索将 Vertex AI 用于我的机器学习工作流程。因为在 Vertex AI 中无法仅使用一个节点将不同的模型部署到同一端点，所以我正在考虑一种解决方法。通过这种解决方法，我将无法使用许多 Vertex AI 功能，例如模型监控、特征归因等，而且我认为它只是在 GKE 集群上运行预测应用程序的托管替代方案。因此，除了成本差异之外，我正在探索在 Vertex AI 与 GKE 上运行自定义预测容器是否会涉及任何限制，例如，在 Vertex AI 中只有N1机器类型可用于预测

有一个类似的问题，但我没有提出我希望回答的具体问题。

  • 我不确定可用的磁盘空间。在 Vertex AI 中，可以指定机器类型，例如 n1-standard-2 等，但我不确定可用的磁盘空间以及是否/如何指定它？在自定义容器代码中，我可能会在处理多个模型工件或来自外部源的数据之前将它们复制到本地目录，因此了解任何磁盘空间限制非常重要。
  • 对于 Vertex AI 中的自定义训练，可以使用交互式 shell 来检查运行训练代码的容器，如此处所述。对于自定义预测容器，这样的事情可能吗？我在文档中没有找到任何东西。
  • 对于自定义培训，可以使用私有 IP 进行自定义培训，如此处所述。同样，我在文档中没有发现任何类似的自定义预测，这可能吗？

如果您知道任何其他可能的限制，请发布。

4

1 回答 1

1
  1. 我们没有指定磁盘大小，所以默认为 100GB
  2. 我现在不知道这一点。但如果它是一个自定义容器，您可以在本地或 GKE 上运行它以进行调试。
  3. 你在找这个吗？https://cloud.google.com/vertex-ai/docs/predictions/using-private-endpoints
于 2021-11-17T04:10:54.800 回答