1

我正在使用 TensorFlow 服务提供模型。在攻击系统每秒服务 10 个请求后，我的服务器的状态是：

服务器的状态

它表明当我的 GPU 空闲时所有 CPU 都很忙。我发现大约 50% 的请求需要超过 30 秒的时间。

为什么 TensorFlow Serving 不利用我的 GPU？

4

0 回答 0