问题标签 [tensorrt-python]

我正在尝试使用静态尺寸构建 cuda 引擎并参考此文档：https ://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

但是，我一直看到以下错误：

此错误指向运行时输入尺寸，但是，我需要指定并使用静态尺寸。我搜索了很多在线论坛，但是，它们都是关于使用运行时维度和使用优化配置文件的。

我还尝试创建和配置具有相同 MIN/OPT/MAX 的优化配置文件，如下所示，但这也没有帮助。

谁能提供一些关于我如何使用静态尺寸而不是禁用运行时输入尺寸检查的观点？

在此目录中的output_saved_model_dir下面我有一个名为final_model_gender_classification_gpu0_int8.trt的 trt 文件

当我运行上面的脚本时，它显示错误如下：

从上面的错误我理解的是 tf.saved_model.load() 只接受 .pb 或 .pbtxt 文件。这样对吗 ？但是根据此链接加载并运行测试一个 .trt 模型，他们所说的 tf.saved_model.load() 函数将接受 .trt 文件。帮我纠正这个错误。谢谢你。

我想在构建 TensorRT 引擎时设置批量大小。

我正在使用 TensorRT 7 和 python API。我正在将 ResNet50 模型转换为 onnx 格式。

我在 Jeston Xavier 上运行 YOLO V3 或 YOLO v4，DNN OpenCV 版本，在 docker 容器中使用 DNN 非常慢，几乎没有达到 ~ 7-9 FPS。我想知道您能否告诉我加快检测推理的最简单方法是什么？关于如何加快推理的任何建议或教程？

我尝试通过命令安装pycuda：
pip install pycuda == 2021.1
我收到错误Failed building wheel for pycuda
我的环境是：Ubuntu：20.04；GPU：GeForce GTX 1070 Ti；英伟达驱动：460.80；CUDA 工具包：10.2.89；cuDNN：7.6.5；蟒蛇：3.6.13

我应该怎么做才能pycuda成功安装？

我正在尝试将 keras 的模型转换为 TensorRTengine。我的模型包含 CNN 层和 GRU 层。我使用tensorrt python API来做到这一点。同时，我成功地构建了引擎。但是准确性下降了很多。我找不到是什么原因造成的。

通过测试，发现GRU层之前的层的输出和keras的输出是一致的。但是加入GRU层之后，输出就大不一样了。所以我可以确认问题是GRU层引起的。但是找不到具体原因。这个问题困扰了我很久。

keras 代码如下：</p>

tensorrt代码如下：</p>

环境：</p>

任何人都可以帮我解决它吗？

我已成功将pytorch模型转换为tensorrt引擎，但遇到以下错误do_inference：

我的模型基于带有 qkv 注意操作的转换器，我使用 tensorrt 插件将其转换如下：

一些详细信息如下：

我正在开发一个带有 tensorrt 和 python 的项目。不用担心这个问题可能不涉及任何 gpu 计算。我觉得在这种情况下，我们可以简单地将 tensorrt 视为 numpy，因为两个包在离开 python 时都会丢弃 GIL。我已经做了很多工作来使 tensorrt 部分正常工作。希望这个问题与 tensorrt 没有太大关系。首先，多线程确实适用于 tensorrt + python，因为 tensorrt 在执行它的主要执行功能时会丢弃 GIL。但我仍然发现在某些情况下它不起作用。仍然有并行工作，但每个线程都有很大的开销。它仅在执行时间足够长时才有效，因此开销可以忽略不计。虽然可能是正确的选择是切换到 c++，但我真的想进一步优化它并坚持使用 python。我设置了一个实验，看看当子线程数只有 1 时有多少开销。我使用 yappi 来分析实验。这是一些代码，这不是我的真实代码，但应该足够了。这里我没有展示run_trt_execution函数，因为我觉得没有必要，如果有人觉得你需要了解更多关于tensorrt的知识来回答我的问题，我也很乐意分享我对它的小知识。

这是配置，因为 yappi 记录了 cpu 和挂墙时间，所以我做了实验以获得两种设置的两次这里是可能太长的日志：

您可以看到线程版本的所有内容都较慢。我只是想知道为什么会这样。

我正在尝试将 onnx AI 模型文件转换为 nvidia tensorrt 文件。硬件：NVIDIA xavier AGX。tensorrt 版本和硬件信息：

NVIDIA Jetson AGX Xavier [16GB]

• 喷气背包 4.5.1 [L4T 32.5.1]
• NV 电源模式：MAXN - 类型：0
• jetson_stats.service：活跃

• 图书馆：
  • CUDA：10.2.89
  • cuDNN：8.0.0.180
  • 张量RT：7.1.3.0
  • Visionworks：1.6.0.501
  • OpenCV：3.4.15-dev 编译 CUDA：否
  • VPI：ii libnvvpi1 1.0.15 arm64 NVIDIA 视觉编程接口库
  • 伏尔甘：1.2.70

但是，当我运行代码时

我收到以下错误：

从 onnx 文件构建 fp32 TensorRT 引擎...
开始 ONNX 文件解析
[TensorRT] 警告：onnx2trt_utils.cpp:220：您的 ONNX 模型已使用 INT64 权重生成，而 TensorRT 本身不支持 INT64。试图降低到 INT32。
解析 onnx 文件发现 1 个错误。

Onnx 模型文件： Conv pads： 1, 1, 2, 2。

有谁知道如何修理它？

我正在尝试将 yolov4 的已保存模型（.pb tensorflow 文件）转换为 onnx 以进行 tensorrt 推理。我能够在转换为 onnx 之前设置输入形状（如文档中所示，借助输入签名参数）。但是我无法找到任何地方来设置输出签名。我想设置它，因为输出层的形状是[None, None, None]根据模型摘要。在张量流中通过模型推断运行时，返回[1, None, 84]（意味着第一个和第三个索引是固定的，第二个元素是变化的）。我尝试在不设置输出形状的情况下转换为 onnx，然后尝试运行 tensorrt 推理。然而，张量的输出形状永远[10647]不会被重塑成[1, None, 84]. 这可以通过设置 onnx 模型的输出形状来解决，还是我需要对 tensorrt 输出进行任何后处理？