0

我已经在 GCP AI 模型 TF 上部署了 MNIST 数据集，并面临扩展问题。我想知道其他人是否遇到过类似的问题以及他们将如何解决它以扩展它。

行为

  1. 如果我每秒创建 3 个请求，模型会在单核上正确给出预测
  2. 如果将请求数增加到每秒 1000 个，我会得到“代码”：403、“消息”：“请求的身份验证范围不足。”或 javax.net.ssl.SSLHandshakeException：远程主机终止握手

在另一个模型版本上，我非常确定它正在与 java 客户端一起使用，并且它也可以通过 GCP 测试和使用 UI，但由于我尝试以 1000/秒的速度进行缩放，因此它已经停止工作。这是在 n1-highmem-2 服务器上。它的错误

 "{
  "error": {
    "code": 400,
    "message": "Request contains an invalid argument.",
    "errors": [
      {
        "message": "Request contains an invalid argument.",
        "domain": "global",
        "reason": "badRequest"
      }
    ],
    "status": "INVALID_ARGUMENT"
  }"

有几个问题是 tf 为模型服务 gcp ai 与部署在 vm 上时是否有任何优势？谢谢您的帮助

4

1 回答 1

1

您每分钟可以发送多少在线预测请求是有限制的。我的假设是，当您尝试启动 60000 个请求时，您超过了 6000 个请求/分钟的限制，十倍以上。尽管错误消息不是自我解释的，但它们可能来自那里。

您可以通过检查 GCP 控制台中的配额页面并在 AI Platform Training & Prediction API 服务下查找“每分钟在线预测请求数”来确认这一点。幸运的是，如果您需要更多的扩展能力，您可以增加其中一些限制。

关于通过 AI Platform 提供模型的优势，主要优势在于您不必关心 VM 周围的架构，因为它会在更多请求到达时自动扩展（假设您已经设置了使用所需的限制）案子）。

于 2020-10-06T10:34:55.957 回答