问题标签 [tensorrt]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - Deeplab 到 TensorRT 的转换
将 Deeplab Tensorflow 模型转换为 TensorRT 模型会显着增加推理时间，我在代码中做错了什么？
在这里，我正在将 Tensorflow 图转换为 TensorRT 图并保存这个新的 TRT 模型：
在另一个脚本中，我再次加载这个 TRT 模型并用它进行语义分割预测，但它慢了大约 7 到 8 倍！这是第二个脚本：
任何想法我应该如何以加快推理的方式正确执行转换？
tensorflow - tensorrt 不支持：tf.unpack、tf.slice、tf.tile、tf.expand_dims、tf.fill、tf.cast、tf.floor_div、tf.range
从 tensorflow 模型转换为 uff 模型时，tensorrt 有很多不支持的操作（例如：）tf.unpack, tf.slice, tf.tile, tf.expand_dims, tf.fill, tf.cast, tf.floor_div, tf.range。有没有解决问题的简单方法？这是我从 pb 转换为 uff 模型时的警告：
tensorrt - 安装 TensorRT 会出现“找不到包文件”错误
安装 TensorRT 时，出现以下错误。我已经安装了 cuda 9.0 和 cudnn 7.0.5。如何避免此错误？
Err:5 file:/var/cuda-repo-9-0-local Packages File not found - /var/cuda-repo-9-0-local/Packages (2: No such file or directory)
tensorflow - NVIDIA V100 上的 TensorRT FP16 或 INT8 无法加速
我一直在尝试使用 trt.create_inference_graph 将我的 Keras 翻译的 Tensorflow 保存模型从 FP32 转换为 FP16 和 INT8，然后将其保存为可用于 TensorFlow 服务的格式。代码在这里 - https://colab.research.google.com/drive/16zUmIx0_KxRHLN751RCEBuZRKhWx6BsJ
但是，使用我的测试客户端运行它，我发现时间没有变化。
我将不同型号的笔记本电脑与 NVIDIA V100 32 GB 和我的 8Gb 1070 GTX 卡进行了比较。我尝试减少和增加输入形状以检查记忆效果。总的来说，我认为，除了 32 GB 内存的优势（不仅仅是加载模型，而是处理更多帧而不会耗尽内存）V100 似乎没有加速；我特别想在 FP16 模式下将速度提高一倍。不确定 Keras 是否转换了 TF 模型，或者模型的复杂性或设计是否有作用。
以下是测试详细信息https://docs.google.com/spreadsheets/d/1Sl7K6sa96wub1OXcneMk1txthQfh63b0H5mwygyVQlE/edit?usp=sharing
FP32 - V100 -无优化
FP 32 与基于 TensorFlow 的优化 - TransformGraph
没有权重或模型量化
FP ?? 使用基于 TensorFlow 的优化 - +Weight Quantized- TransformGraph
权重量化后；模型大小为 39 MB！！（从 ~149 MB）但是时间是两倍（'Time for ', 10, ' is ', 1.201113224029541）
模型量化 - 不起作用（至少使用 TF Serving）
使用 NVIDIA TensorRT 优化（colab notebook）
FP16 - v100
INT 8
优化片段 https://colab.research.google.com/drive/1u79vDN4MZuq6gYIOkPmWsbghjunbDq6m
注意：运行之间存在细微差异
real-time - 如何实时运行基于 TensorRT 的深度学习模型？
我已经使用TensorRT优化了我的深度学习模型。C++ 接口通过Jetson TX2上的优化模型推断图像。此接口提供平均 60 FPS（但不稳定。推断范围为 50 和 160 FPS）。我需要在实时修补的 Jetson 上实时运行该系统。
那么您对使用 TensorRT 进行实时推理有何看法？是否可以使用 TensorRT 开发实时推理系统？如何开发？
我尝试为进程和线程设置高优先级以提供抢占。我希望每次推断都具有大致相同的 FPS 值。所以我需要确定性推理时间。但系统无法确定性地输出。
python - 加载冻结推理图以进行张量优化时无法导入元图
我正在尝试使用 tensorrt 优化我训练有素的冻结推理图。
https://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html#using-savedmodel
tensorflow - 无法在 tensorflow r1.14 中导入“tensorflow.contrib.tensorrt”
我已安装Tensorflow r1.14并想使用TF-TRT. 但是，会出现以下错误：
“ModuleNotFoundError：没有名为‘tensorflow.contrib.tensorrt’的模块”
运行示例代码时。发生同样的错误Tensorflow r1.13。所以我的问题是我需要tensorflow.contrib.tensorrt单独安装库吗？如果是，如何？
TensorRT另外，我可以成功运行例如的示例代码sampleINT8。单击此处查看我成功运行的示例代码。
这使我相信TensorRT安装正确。但是，TF-TRT仍然不起作用。
任何帮助将不胜感激！
linux - ImportError：没有名为“tensorrt”的模块
我使用 Debian 安装在我的虚拟机上安装了 TensorRT。如果我运行“dpkg -l | grep TensorRT”，我会得到预期的结果：
然而，当我尝试在 python 中导入它时，我得到：
我究竟做错了什么？
python - 在使用 TensorRT 推理服务器时指定优化策略
我已经成功地使用 TensorRT 推理服务器为 Tensorflow 对象检测 API 模型提供服务，并且配置文件 ( config.pbtxt) 如下：
我正在浏览文档，结果发现还有一种方法可以为模型指定优化设置config.pbtxt。然而，文档没有提到如何指定这些优化设置。我尝试将以下行添加到配置文件中
并尝试为模型提供服务，但出现错误：Can't parse /models/first_model/config.pbtxt as text proto. 但是，如果我删除与我有关的行，optimization_policy我在服务时不会遇到任何问题。
如何在配置文件中指定优化策略/设置？
tensorflow - 在 tf_trt create_inference_graph 上中止（核心转储）
我正在尝试按照此 [链接][1] 中提到的说明将ssdLite_mobilenet_V2TensorFlow 从 TensorFlow 转换为tensorrt使用。tf_trt我收到Aborted (core dumped)错误。真正奇怪的是，我在相同的图形架构上做了完全相同的事情（使用相同的程序），但在另一个集合上进行了训练，并且它运行时没有错误。
操作系统：Ubuntu 18.04.2 GPU：Tesla M60 TensorFlow 1.13.1
我尝试修改 max_batch_size 和 max_workspace_size_bytes。但问题似乎不是来自 GPU 内存溢出，它似乎从来没有使用超过 1.5G 的内存。