0

我对模型调用的预测有超时问题，这似乎是因为冷启动。似乎模型的节点几乎每次被调用时都在安装依赖项（虽然 minNodes 为 1）。仅当版本超过 1 个时才会出现问题，否则它不会重新安装依赖项并且它会在 1 秒内进行预测，而不是在 120 秒内进行超时...我需要放置更高的 minNodes 吗？

如果有人遇到问题并有解决方案（或任何建议），我真的很感兴趣；）

谢谢

4

1 回答 1

1

让我试试看我是否理解您的问题：您使用的是 AI Platform 模型，并且每次调用它时节点都会安装依赖项。当有多个版本时，它不会重新安装依赖项并进行快速预测。

为了继续，我需要问你以下问题：

  • 你得到的错误是什么？您在日志上有任何相关消息吗？
  • 你有什么类型的依赖？如果您有一个训练应用程序，您可能有不同类型的依赖项（标准和自定义）[3]。
  • 当您提到版本时，您是在谈论 AI Platform 中的模型版本还是依赖项的不同版本？

关于尝试预测时的 minNodes，我认为增加这个数字不会解决问题。根据[1]，如果负载更高，它会添加更多节点，然后缩小，至少，minNodes。至少有两个节点，您将被 SLA [2] 覆盖，但可能面临同样的问题。

[1] - https://cloud.google.com/ai-platform/prediction/docs/reference/rest/v1/projects.models.versions#autoscaling

[2] - https://cloud.google.com/ai-platform/prediction/docs/deploying-models#create_a_model_version

[3] - https://cloud.google.com/ai-platform/training/docs/packaging-trainer#working_with_dependencies

于 2021-05-27T11:27:22.233 回答