tensorflow - 如何在 Jetson TX1 上使用 Nvidia 的 Tensor RT 运行预训练的 tensorflow 模型？

Question

在 Nvidia 的博客中，他们介绍了他们的 TensorRT 如下：

NVIDIA TensorRT™ 是一款高性能神经网络推理引擎，用于深度学习应用的生产部署。TensorRT 可用于快速优化、验证和部署经过训练的神经网络，以推断超大规模数据中心、嵌入式或汽车产品平台。

所以我想知道，如果我有一个预训练的 Tensorflow 模型，我可以在 Jetson TX1 的 TensorRT 中使用它进行推理吗？

Answer 1

从 JetPack 3.1 开始，NVIDIA 还添加了对 Tensorflow 的 TensorRT 支持。所以，训练好的TF模型可以直接部署在Jetson TX1/TK1/TX2

Answer 2

更新（2020.01.03）：TensorRT 现在支持 TensorFlow 1.X 和 2.0（在Trt V6 和 7上测试：请参阅本教程：https ://docs.nvidia.com/deeplearning/frameworks/tf-trt-用户指南/index.html）。

根据 Nvidia 论坛上的这篇文章，您现在似乎可以使用 TensorRT 与 caffemodel 进行推理，但不能使用 tensorflow 模型。除了 tensorRT，在 tx1 上构建 tensorflow 是另一个问题（参考这里：https ://github.com/ugv-tracking/cfnet ）。