问题标签 [tensorrt]

几周以来，我一直在与 TensorRT（TensorRT 4 for python）抗争。为了让 TensorRT 运行，我通过了很多问题。来自 NVIDIA 的示例代码非常适合我： TensorRT MNIST 示例

现在，我在 tensorflow（一个非常简单的网络）中创建了自己的网络，用于放大图像，比如说（在 HWC 中）320x240x3 到 640x480x3。通常的方法是创建一个冻结图并运行基于 Tensorflow 的推理器，这给了我预期的结果但不是通过使用 TensorRT。

我有一种奇怪的感觉，我通过将图像输入 GPU 内存而做错了（这可能是关于 pycuda 和/或 TensorRT 的问题）。

最坏的情况是 TensorRT 通过优化过程破坏了我的网络。

我希望有人对挽救我的生命有一点想法。这是我的 Tensorflow 模型（我只是包装了函数）：

这是我的推理器的重要片段：

和可执行代码片段：

比较奇怪的结果 :( 放大的狮子 TensorRT、Tensorflow、Original

如果您使用运行文件安装 CUDA，则从其 tar 文件安装TensorRT 4是唯一可用的选项。但是，tar 文件仅包含适用于 python 2.7 和 3.5 的 python TensorRT 轮文件。没有提供 python 3.6 轮文件。

我无法在我的 python 3.6 系统上强制安装 python 3.5 轮文件：

另外，我不能创建一个新的 python 3.5 virtualenv 只是为了使用 TensorRT。

有没有办法通过手动复制文件在我的 python 3.6 平台上手动安装这个包？

我正在考虑使用 TensorRT 转换一个预训练的对象检测模型，以便在我的 NVIDIA Jetson TX2 上进行尝试，但我发现的每个模型都有 TensorRT 尚不支持的层。到目前为止，我尝试了使用 MobileNet 和 Faster R-CNN 的 SSD，但它们都具有 TensorRT 不支持的 Identity 等操作，而且我找不到许多其他 TensorFlow 模型。

谢谢

我正在尝试使用原生用 TensorRT C++ API 编写的模型运行半精度推理（未从其他框架解析，例如 caffe、tensorflow）；据我所知，这个问题没有公开的工作示例；我找到的最接近的是 sampleMLP 示例代码，它与TensorRT 4.0.0.3 一起发布，但发行说明说不支持 fp16；

我的玩具示例代码可以在这个 repo中找到。它包含 API 实现的架构和推理例程，以及我用来将训练过的权重字典转换为 wtd TensorRT 格式的 python 脚本。

我的玩具架构只包含一个卷积；目标是在 fp32 和 fp16 之间获得相似的结果，除了一些合理的精度损失；该代码似乎适用于 fp32，而我在 fp16 推理的情况下获得的是完全不同数量级的值（~1e40）；所以看起来我在转换过程中做错了什么；

对于理解问题的任何帮助，我将不胜感激。

谢谢，

F

我正在尝试使用 TensorRT 在推理时加速我的预训练模型。任何目标检测预训练模型都可以实际工作，不必是 Faster R-CNN。

我看到 TensorRT 还不支持很多层，在这种情况下会是什么程序？我读到您可以自己实现这些层，但这意味着什么？在“实施这些层”之后，我是否需要重新训练我的模型？

谢谢

看到这个问题

Traceback（最近一次调用最后一次）：文件“/root/anaconda3/lib/python3.4/site-packages/tensorflow/python/framework/importer.py”，第 489 行，在 import_graph_def graph._c_graph，序列化，选项）# pylint: disable=protected-access tensorflow.python.framework.errors_impl.InvalidArgumentError: Shape must be rank 2 but is rank 4 for 'import/dense_p7/MatMul' (op: 'MatMul') with input shapes: [1,256,1, 1]，[256,1]

我们可以成功完成 tensorrt 子图的转换，但是我们在推理阶段遇到了问题。我的模型是基于 resnet-50 的 tensorflow。谁能帮我解决这个问题，谢谢！

我已经使用 Tensorflow Estimator API 训练了一个自定义 CNN 模型。我已成功冻结图表，但转换为 UFF 失败并引发以下错误：

进行上述转换的代码：

图中节点的名称是，

那么有没有办法移除前两个 Iterator 节点呢？它们在训练环境之外毫无用处。我也使用过tf.graph_util.remove_training_nodes，但它并没有缓解我面临的问题。

我正在尝试计算用 Python 编写的 tensorRT 脚本的功耗。使用 CUDA 有nvprof cuda_script，但在我的 Python 脚本中找不到类似的东西。

Python有类似的东西吗？人们如何计算p100/v100的功耗？

Nvidia GPU 的类似情况 -如何分析 Python 脚本的 CPU 使用情况？

当我将我的 tensorflow 模型（保存为 .pb 文件）转换为 uff 文件时，错误日志如下：

这意味着 TensorRT 目前不支持 layer: 'Slice'。所以我打算在我的代码中修改这一层。但是，我无法在我的代码中找到“切片”层，即使我通过函数 sess.graph.get_operation_by_name 获取有关“切片”的信息：

如何在我的代码行中找到“切片”层，以便我可以通过 TensorRT 自定义层对其进行修改？

When I set per_process_gpu_memory from 0.5 to 1.0, there is not enough memory and it will crashed.

1) So, any ideas or suggestions to make it work?

2) Does convert tensorflow code to tensorRT will improve the performance (not for training, only for prediction)?