问题: 如何在不重新训练模型的情况下改善 Web 部署的模型延迟?我应该标记哪些清单以提高模型速度?
背景: 我有多个模型,它们在一台机器上按顺序处理视频,带有一个 K80 GPU;每个模型大约需要 5 分钟来处理一个 1 分钟长的视频。在不改变模型架构的情况下,我应该尝试哪些想法和建议来改善每个模型的延迟?我应该如何构建我对这个问题的思考?
问题: 如何在不重新训练模型的情况下改善 Web 部署的模型延迟?我应该标记哪些清单以提高模型速度?
背景: 我有多个模型,它们在一台机器上按顺序处理视频,带有一个 K80 GPU;每个模型大约需要 5 分钟来处理一个 1 分钟长的视频。在不改变模型架构的情况下,我应该尝试哪些想法和建议来改善每个模型的延迟?我应该如何构建我对这个问题的思考?
torch
有一个多处理模块torch.multiprocessing
。我从来没有使用过这个,但我认为设置会有点重要和复杂。