0

我对模型调用的预测有超时问题,这似乎是因为冷启动。似乎模型的节点几乎每次被调用时都在安装依赖项(虽然 minNodes 为 1)。仅当版本超过 1 个时才会出现问题,否则它不会重新安装依赖项并且它会在 1 秒内进行预测,而不是在 120 秒内进行超时...我需要放置更高的 minNodes 吗?

如果有人遇到问题并有解决方案(或任何建议),我真的很感兴趣;)

谢谢

4

1 回答 1

1

让我试试看我是否理解您的问题:您使用的是 AI Platform 模型,并且每次调用它时节点都会安装依赖项。当有多个版本时,它不会重新安装依赖项并进行快速预测。

为了继续,我需要问你以下问题:

  • 你得到的错误是什么?您在日志上有任何相关消息吗?
  • 你有什么类型的依赖?如果您有一个训练应用程序,您可能有不同类型的依赖项(标准和自定义)[3]。
  • 当您提到版本时,您是在谈论 AI Platform 中的模型版本还是依赖项的不同版本?

关于尝试预测时的 minNodes,我认为增加这个数字不会解决问题。根据[1],如果负载更高,它会添加更多节点,然后缩小,至少,minNodes。至少有两个节点,您将被 SLA [2] 覆盖,但可能面临同样的问题。

[1] - https://cloud.google.com/ai-platform/prediction/docs/reference/rest/v1/projects.models.versions#autoscaling

[2] - https://cloud.google.com/ai-platform/prediction/docs/deploying-models#create_a_model_version

[3] - https://cloud.google.com/ai-platform/training/docs/packaging-trainer#working_with_dependencies

于 2021-05-27T11:27:22.233 回答