问题标签 [tensorrt]

我有两个 GPU。我的程序使用 TensorRT 和 Tensorflow。

当我只运行 TensorRT 部分时，这很好。当我与 Tensorflow 部分一起运行时，出现错误

问题是当 TensorFlow 会话开始时如下

它将两个 GPU 加载为

我试图只加载一个 GPU

(1)放在python代码之上

(2)

两者都不起作用。

如何解决问题？

我在 python 代码中使用了 TensorRT。所以我使用 PyCUDA。在以下推理代码中，an illegal memory access was encountered发生在stream.synchronize()。

有什么问题？

编辑：我的程序是 Tensorflow 和 TensorRT 代码的组合。错误仅在我运行时发生

在运行 infer() 之前。如果我不运行上述两行，我没有问题。

重建步骤：

回溯（最后一次调用）： ModuleNotFoundError 中的
文件“”，第 1 行
：没有名为“tensorrt”的模块

其他可能有用的信息：

nvcc：NVIDIA (R) Cuda 编译器驱动程序
版权所有 (c) 2005-2019 NVIDIA Corporation
基于 Thu_Apr_18_19:10:59_PDT_2019
Cuda 编译工具，版本 10.1，V10.1.163

2019 年 6 月 9 日星期日 06:05:01
+---------------------------------------- -------------------------------------+
| NVIDIA-SMI 418.67 驱动程序版本：418.67 CUDA 版本：10.1 | |-------------------------------+----------------- -----+-----------+
| GPU名称持久化-M| 总线 ID Disp.A | 挥发性的 Uncorr。纠错 |
| Fan Temp Perf Pwr:Usage/Cap| 内存使用 | GPU-Util Compute M. |
|=================================+================= =====+========================|
| 0 GeForce RTX 208... 开 | 00000000:01:00.0 关闭 | 不适用 |
| 0% 37C P0 65W / 260W | 105MiB / 10989MiB | 2% 默认 |
+-------------------------------+------------------ -----+-----------+
| 1 GeForce RTX 208... 开 | 00000000:02:00.0 关闭 | 不适用 |
| 0% 35C P8 19W / 260W | 1MiB / 10989MiB | 0% 默认 |
+-------------------------------+------------------ -----+-----------+

+-------------------------------------------------- ----------------------------+
| 进程：GPU 内存 |
| GPU PID 类型 进程名称 用法 |
|=================================================== =============================|
+-------------------------------------------------- --------------------------------------------+

我可以确认 TensorRT 样本（仅检查 sampleMNIST）工作。我通过 nv-tensorrt-repo-ubuntu1804-cuda10.1-trt5.1.5.0-ga-20190427_1-1_amd64.deb 安装了样本。

还：

ii libnvinfer-dev 5.1.5-1+cuda10.1 amd64 TensorRT 开发库和头文件

ii libnvinfer-samples 5.1.5-1+cuda10.1 所有 TensorRT 示例和文档

ii libnvinfer5 5.1.5-1+cuda10.1 amd64 TensorRT 运行时库

我使用了 TensorRT，Tensorflow 模型在 FP16 和 FP32 模式下转换为 TensorRT 引擎。

用 10 张图像进行测试，FP32 甚至不比 FP16 模式快两倍。预计至少快两倍。这是使用图灵架构的 Titan RTX 规格

EDIT_1：根据@y.selivonchyk 的回复，在Tesla T4 上进行了测试。但是FP16并不比FP32快。

这个结果可以接受吗？或者我还需要研究什么？

在本文档第 15 页中，FP32 和 FP16 之间存在 5 倍图像/秒的差异。

我的 UFF 模型和推理引擎序列化代码如下所示。

我使用 TensorRT 进行 Int8 校准。

一旦校准完成并测试推理。我stream.synchronize()在以下函数中有错误。

在 FP32 和 FP16 引擎上运行没有问题。只有在 Int8 引擎上运行时出错。有什么问题？

使用 TensorRT 实现 INT8 引擎推理。

训练批量大小为 50，推理批量大小为 1。

但在输出推断

[outputs] = common.do_inference(context, bindings=bindings, inputs=inputs, outputs=outputs, stream=stream, batch_size=1)

输出大小为 13680000。

它必须是 273600。使用 FP32/FP16 产生的输出大小为 273600。

为什么使用 INT8 的输出大小增加 5 倍？

我的推理代码是

全球蟒蛇

which python3.6

给

/usr/bin/python3

内部全局python3

import tensorrt

工作正常，但创建虚拟环境

mkvirtualenv -p /usr/bin/python3 --system-site-packages test

在 virtualenv 里面

import tensorrt

No module named 'tensorrt'

我在导入 Logger() 和 Builder() 时遇到错误

我在 Jetson AGX Xavier 上。

我也尝试过python shell。

我也不能导入 trt.Builder() 。

Python 版本是 3.6.7

“dpkg -l | grep nvinfer”的输出给出了 Tensor RT 版本：

拥有一个训练有素的 '.h5' Keras 模型文件，我正在尝试优化推理时间：

探索了2个选项：

1. 通过 TensorRT 加速推理
2. 'int8' 量化。

此时我可以将模型文件转换为 TensorFlow protobuf '.pb' 格式，但作为旁注，它还包含几层的自定义对象。

看了几篇关于 TensorRT 转换和 TFLite 转换的文章，但我似乎没有找到一个清晰易读的健壮实现。有人可以解释这是如何完成的（TFLite/Keras 量化或 TensorRT）以使用相同的模型进行更快的推理。

（开放其他建议以提高 TensorFlow 和 Keras 支持的推理速度）

嘿，对 Tensorflow 和 TensorRT 来说都是新手，我无法将现有的冻结图转换为 tensorRT 图。我认为我拥有的代码没有成功转换我的图表。在 Nvidia Jetson Nano 上运行它。

我已尝试遵循此处看到的指南：https ://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.html#using-frozengraph

我得到的错误输出是：“在 load_object_detection_model ops = self.graph_obj.get_operations() AttributeError: 'list' object has no attribute 'get_operations'”对应于下面的代码：

（上面的代码紧跟在前面的代码片段之后）。

运行 Ubuntu 18.04、Python 3.6.8、TensorFlow 1.13.1。TensorRT 详细信息如下：