问题标签 [tensorrt]

我是 Tensorrt 的新手，对 C 语言也不太熟悉。请问是否有任何示例可以导入caffe modell(caffeparser)，同时使用python 插件。插件库示例：“ https://docs.nvidia.com/deeplearning/sdk/tensorrt-api/c_api/_nv_infer_plugin_8h_source.html ”。

我看到一个例子做类似下面的事情。是否需要修改 pluginfactory 类？还是已经用python插件api完成了？

Ps：我正在尝试将YOLO2转换为Tensorrt格式。因此，某些层（例如 kYOLOREORG 和 kPRELU）只能由插件支持。

另一种方法是在构建网络期间通过方法 network.add_plugin_ext() 添加插件？但是，我不太确定如何指定稍后要导入的前一层。

非常感谢您的回答。您的帮助将不胜感激！

系统信息

• 您正在使用的模型的顶级目录是什么：models/tree/master/research/tensorrt
• 我是否编写了自定义代码（而不是使用 TensorFlow 中提供的股票示例脚本）：否
• 操作系统平台和发行版（例如，Linux Ubuntu 16.04）：GNU/Linux 4.4.0-128-generic x86_64
• 从（源代码或二进制文件）安装的 TensorFlow：通过 docker image nvcr.io/nvidia/tensorflow:18.07-py3
• TensorFlow 版本（使用下面的命令）：1.18
• TensoRT 版本：4.0.1。
• Bazel 版本（如果从源代码编译）：不适用
• CUDA/cuDNN 版本：9.0.176 / 7.1.4
• GPU型号和内存：Tesla V100-SXM2-16GB
• 重现的确切命令：

python3 tensorrt.py --frozen_graph=resnetv2_imagenet_frozen_graph.pb --image_file=image.jpg --native --fp32 --fp16 --int8 --output_dir=output_trt

描述问题

我正在通过容器映像运行示例 tensorrt.py，但它会引发错误

没有标志，测试工作正常--int8

源代码/日志

运行 suscesufully native graph、FP32 graph 和 FP16 graph 时的大量输出

我想使用 tensorRT 优化我的模型，但是，我的模型中的 CTC 层不受 tensorRT 支持。有人用 tensorRT 成功地优化了 CTC 层。

我正在使用新的tf.data.DatasetAPI，但我似乎无法弄清楚如何执行推理。最终，我想将我的模型转换为 TensorRT 图并在 TX2 上运行它，我找到的所有示例都假设你有一个tf.placeholder输入。这是我如何训练的伪代码。[...] 只是一个占位符，因为我实际上并没有运行代码。让我们不要争论模型，因为它只是假设给出一个例子：

我的问题是如何在没有输入的情况下将其输入 TensorRT tf.placeholder？我能找到的所有示例都使用 atf.placeholder作为输入。此示例表明我可以使用SavedModel该类将迭代器替换为占位符，但我似乎找不到任何有关如何完成此操作的文档。

谢谢！

编辑：感谢以下帮助，这是我的解决方案

这将写出 TensorRT 可以使用的 UFF 文件。我遇到的最大问题是：

1. 我没有意识到该optimize_for_inference_lib.optimize_for_inference操作替换iterator为tf.placeholder
2. 我不知道将数据提供给哪个节点进行评估：您可以将数据提供给IteratorGetNext节点

我们有一个 Caffe 模型，其中包含：

现在，按照中的代码，sampleMNIST我尝试将模型导入 TensorRT，但出现错误：

环顾四周，这是一个已知问题，甚至有一个TensorRT类nvinfer1::plugin::PriorBoxParameters表明它应该能够处理这一层，但是关于如何进行的文档很少。我读过一个关于拆分模型的建议，但我的模型中有四个此节点的实例，更重要的是，没有关于自定义节点中应该包含哪些代码的信息。

我应该如何在对第三方设计和训练的现有模型的影响最小的情况下处理这个问题，所以我不能彻底改变模型或权重。

我想将 TRT 优化的冻结模型转换为 tensorflow 服务的保存模型。有什么建议或资源可以分享吗？

或者还有其他方法可以在 tensorflow 服务中部署 TRT 优化模型吗？

谢谢。

我正在尝试使用 TensorRT API 对多个图像进行推理。我的应用程序的伪代码片段是

这里，

如果我使用 batchSize=1 运行，我会得到正确的输出，但是如果使用 batchSize > 1 ，则对第一张图像以外的图像的检测是错误的。此外，在 batchSize=1 的情况下，推理时间为 7 毫秒，而在 batchSize=3 的情况下，推理时间约为 16 毫秒。所以解决这个问题会给我的应用程序带来很大的提升，就像一般情况一样。

有人可以建议我可以尝试解决此问题的所有方法。我以这种方式将内存分配给“缓冲区”

它应该是一维向量还是二维向量？谢谢！

我正在尝试从此处的 nvidia 存储库运行教程代码。 以下是我的 Jetson TX2 上的控制台 imagenet 程序发生的情况：

我没有在 Jetson 板上安装 Caffe，因为教程明确指出不需要它。如果 TRT 可以正确缓存，我不确定是否会修复空权重错误。有任何想法吗？

• 蟒蛇 2.7
• 库达 9.0
• 张量RT 4.0

今天是个好日子！

我在 TensorRT 中执行批量推理时遇到问题。当批量大小为 1 时，它就像一个魅力，但是当我将它更改为任何其他数字时，它会发出普通的垃圾。

一步一步地，我下载了 TensorRT (5.0) 并将其安装在我的 Ubuntu 18.04 笔记本电脑上，带有 GTX755M。然后我构建了与之配套的样本，并在 sampleMNIST 样本上对其进行了测试，它就像一个魅力。然后我开始将每次出现的次数更改mParams.batchSize为 10。当然，我还更改了分配内存的大小并修改了结果打印。但是在我重新编译样本后，我得到了完全奇怪的结果——对于每个给定的输入，输出都显示为 80% 7 20% 1：

此输出重复 10 次。我已经用不同的网络尝试过这个，但结果相似，大多数网络给出 1 个正确的输出，其他 9 次是纯垃圾。完整的示例可以在这里找到。我试过谷歌搜索文档，但我不明白我做错了什么。您能否告诉我我做错了什么或如何在 TensorRT 中执行批量推理？

我正在尝试使用 tensorRT 优化 deeplab v3+ 模型，但出现以下错误：

据我了解，这是由 uff 转换器不支持的某些层引起的吗？有没有人成功地将 deeplab 模型转换为 uff？我在 tensorflow 中使用原始的 deeplabv3+ 模型。

谢谢