我有一个在自定义数据集上训练的 OD 模型。我想将模型部署为 API。该模型将用于实时推理，我计划在 AWS、Rakuten 的 Rapid API 等 API 市场之一上通过该 API 获利。
我担心的是，如果 OD 模型作为 API 提供，在视频流（监控摄像头馈送）上实时执行预测会带来网络延迟，从而使应用程序变慢。是否有其他方法可以解决延迟问题？
例如，如果我将要在客户端系统上执行的代码和工件打包，可以消除网络延迟，但有暴露模型、代码等的风险。因此，API 似乎是我用例的理想解决方案。
执行这种情况的最佳方法是什么？
此外，如果图像涉及预处理和后处理。是否有任何平台可以帮助打包我们的应用程序并将其转换为接受图像输入并提供图像输出的黑盒？
对于 AWS Marketplace，您可以销售 Amazon SageMaker“模型包”产品，这是一种用于进行预测的预训练模型，不需要买家进行任何进一步的培训。
这应该解决您对知识产权保护的担忧，并在一定程度上解决您对延迟的担忧。
关于知识产权保护，您作为卖方将您的模型打包在 Docker 容器中。当它部署在买方 AWS 账户中的 Amazon SageMaker 服务中时，他们无法直接访问容器。他们只能通过 SageMaker API 与您的模型进行交互。更多信息在这里：https ://docs.aws.amazon.com/marketplace/latest/userguide/ml-security-and-intellectual-property.html
关于延迟，模型包部署在买家所选区域的 AWS 账户中。尽管模型包无法部署到边缘设备上，但它使模型包更近了一步，而不是作为卖家托管 API 的地方。
有关在 AWS Marketplace 上发布 Amazon SageMaker 产品的更多信息，请参阅卖家指南：https ://docs.aws.amazon.com/marketplace/latest/userguide/machine-learning-products.html