python - 保持模型对请求开放

Question

有没有办法让模型保持打开并让它等待新的请求？

我意识到的一件事是，在 YOLOv5 上检测本身大约需要 0.032 秒，但整个过程需要 0.391 秒。考虑到我们系统的结构是逐个检测图像上的对象（如对每个图像的 API 调用），程序每次调用“detect.py”时都会加载模型。

想知道是否有办法让模型一直保持打开状态，这样我们就可以节省很多时间。