我已经使用TensorRT优化了我的深度学习模型。C++ 接口通过Jetson TX2上的优化模型推断图像。此接口提供平均 60 FPS（但不稳定。推断范围为 50 和 160 FPS）。我需要在实时修补的 Jetson 上实时运行该系统。
那么您对使用 TensorRT 进行实时推理有何看法？是否可以使用 TensorRT 开发实时推理系统？如何开发？
我尝试为进程和线程设置高优先级以提供抢占。我希望每次推断都具有大致相同的 FPS 值。所以我需要确定性推理时间。但系统无法确定性地输出。
我已经使用TensorRT优化了我的深度学习模型。C++ 接口通过Jetson TX2上的优化模型推断图像。此接口提供平均 60 FPS（但不稳定。推断范围为 50 和 160 FPS）。我需要在实时修补的 Jetson 上实时运行该系统。
那么您对使用 TensorRT 进行实时推理有何看法？是否可以使用 TensorRT 开发实时推理系统？如何开发？
我尝试为进程和线程设置高优先级以提供抢占。我希望每次推断都具有大致相同的 FPS 值。所以我需要确定性推理时间。但系统无法确定性地输出。