问题标签 [tensorrt]

我的网络包含一些当前 tensorRT 不支持的特定层。所以我想在 tensorRT 上运行卷积层和池化层，然后使用 tensorRT 的输出作为包含一些特定层的 caffe 模型的输入。我可以参考一些 API 或示例代码吗？谢谢

我想使用 NVIDIA TensorRT 来运行我的 Tensorflow 模型。目前，TensorRT 支持 Caffe prototxt 网络描述符文件。

我找不到将 TensorFlow 模型转换为 Caffe 模型的源代码。有什么解决方法吗？

在 User Guide.html 中，tensorRT 的输入/输出需要使用 NCHW 格式。
什么是 NCHW 格式？
如何将 cv::MAT 转换为 NCHW 格式？

我使用 TensorRT 运行推理，如下面的代码。
没有错误。但是，这不是正确的输出结果。

在 Nvidia 的博客中，他们介绍了他们的 TensorRT 如下：

NVIDIA TensorRT™ 是一款高性能神经网络推理引擎，用于深度学习应用的生产部署。TensorRT 可用于快速优化、验证和部署经过训练的神经网络，以推断超大规模数据中心、嵌入式或汽车产品平台。

所以我想知道，如果我有一个预训练的 Tensorflow 模型，我可以在 Jetson TX1 的 TensorRT 中使用它进行推理吗？

我的最终目标是使用 TensorRT 来优化我的部署模型。我在张量流中做我的实验。但是 TensorRT 需要 caffemodel 格式的输入模型。

我一直在尝试在桌面主机上编译一个基本的 tensorRT 项目——现在源代码如下：

但是，在运行make时，我收到以下消息：

这个错误也是正确的——我曾经locate试图找到它，但我的机器上没有任何匹配的东西。我按照此处描述的 TensorRT 2.1 桌面安装的安装说明进行操作：https ://developer.nvidia.com/nvidia-tensorrt-download

所以我的问题是，有人知道 nvinfer.h应该在哪里吗？换句话说，我是否错过了包含它的所需包裹，或者我错过了其他必要的东西？

小附录：我注意到的一件事是 libgie1 没有安装，并且它没有像 gie-dev 等其他软件包一样作为 debian 包含在提供的 TensorRT 下载中。

我正在使用TensorRT 2.1并想要实现一个简单的自定义层。（目标是在嵌入系统上运行。Single Shot Detector）TensorRT

为了练习，我想制作一个Inc层（只需将 1.0 添加到输入张量值并保持尺寸相同）。

我按照示例实现Inc类。除了保持相同的尺寸外，我保持一切几乎相同。（这似乎很好。）class Reshape : public IpluginsampleFasterRNN.cppgetOutputDimensions()

我应该在哪里实现“添加 1.0”部分？我想它应该在“enqueue()”中。所以，我尝试了

但是，这部分会导致“分段错误”错误。

我的问题是：

1. 在哪里以及如何在输入和输出之间实现一些计算？
2. 谁能提供一个简单的例子？

似乎，由于很多不受支持的层，无法从盒子 Mobilenet（以及 TF OD API 的其他模型）转换为 uff 格式，然后再转换为 TensorRT 格式。有没有办法删除\替换那些层？例如使用 graph_transform 工具可能吗？我理解并非所有这些层的目的。这是默认模型，如果有人想尝试。

以下 tensorflow 模型到 UFF 的转换在 tf.matmul 操作时失败：

错误：

在 matmul 之后，我的实际网络有更多的 conv2d 操作。所以我可以想到以下选项：

1. 使用 TensorRT c++ API 重写整个网络。（类似于 sampleMNISTAPI 示例）

2. 将网络分成两个 UFF 文件，然后以某种方式将它们组合成一个网络。我不确定这个选项有多可行。

还有其他更好的选择吗？

我试图使用 TensorRT Python API 来转换模型。定义连接层时出错，代码为：

错误信息是：

' conv1.get_output(0)' 将返回一个ITensor*变量，我应该如何将其转换为的类型ITensor *const*？

似乎 TensorRT python API 是用 SWIG 从其 C++ 版本包装的，add_concatenation() 的 API 参考是：

addConcatenation(ITensor *const *inputs, int nbInputs)=0 -> IConcatenationLayer *

向网络参数添加连接层：

回报：