问题标签 [tensorrt]

我正在使用 TensorRT caffe 解析器从https://github.com/chuanqi305/MobileNet-SSD解析 MobileNet-SSD caffe 模型。我使用 Jetson TX2 中的 Jetpack 3.3 作为平台。如何从 nvinfer 库中修复此错误？API中甚至还有一个 TensorRT 类nvinfer1::plugin::PriorBoxParameters。但是这个图层句柄似乎没有定义。图层参数名称和格式是否有任何错误？或者我们是否必须为此创建一个自定义层插件。有人对此有实现吗？

错误如下，

与此错误相关的源代码行，

prototxt 文件中给定层的错误，

这个问题与训练后使用占位符交换 TensorFlow 数据集输入管道有关

我有一个图表，我想优化 TensorRT 的推理。为了得到图表，不包括我做的输入管道部分：

“这将用浮点占位符替换 IteratorGetNext 节点。您可能想要选择另一个节点，在这种情况下只需更改名称。您还可以通过 --placeholder_type_enum 选项更改生成的占位符的类型。在这种情况下，您需要从 DataType 枚举中提供与您想要的数据类型匹配的整数值。” （这个问题的答案Swap a TensorFlow Dataset input pipeline with a placeholder after training ）

但是，浮动占位符没有形状。在将图表提供给 TensorRT 时，它会失败，因为缺少此形状。是否可以给这个浮动占位符一个形状？

更具体地说，TensorRT 给出的误差是

tensorflow.python.framework.errors_impl.NotFoundError: No attr named 'shape' in NodeDef: [[Node: input_images = Placeholderdtype=DT_FLOAT]] for 'input_images' (op: 'Placeholder') with input shapes: .

我是 Jetson tegra x2 板的新手。

我计划在 TX2 板上运行我的 tensorflow-gpu 模型，看看它们在那里的表现如何。这些模型在 GTX GPU 机器上进行训练和测试。

在 tx2 板上，Jetpack full 中没有 tensorflow。所以需要构建/安装 tensorflow，我已经看过几个教程并尝试过。我的 python 文件 train.py 和 test.py 需要 tensorflow-gpu。

现在我怀疑，如果在 tx2 板上构建 tensorflow-gpu 是正确的方法吗？

哦，TX2 上有 Nvidia TensorRT，它可以完成部分工作，但是怎么做呢？对吗？

tensorflow 和 tensorRT 会一起取代 tensorflow-gpu 吗？但如何？那么我必须在我的火车和测试python文件中进行哪些修改？

我真的需要为 tx2 构建 tensorflow 吗？我只需要推断我不想在那里进行培训。

我研究了不同的博客并尝试了几种选择，但现在事情有点混乱。

我的简单问题是：

使用在 GTX 机器上训练的 TensorFlow-GPU 深度学习模型在 Jetson TX2 板上完成推理的步骤是什么？

我必须手动添加一个卷积层，因为我有一些 Tensorflow 解析器不支持的特殊操作。TensorRT 期望从 .wts 文件中读取的权重顺序是什么？例如，Tensorflow 的 conv2d 权重张量通常具有 [H,W,IN_CHANNEL,OUT_CHANNEL] 的顺序。我知道 TensorRT 期望输入数据是 NCHW 顺序，但是当它被写入 .wts 文件时，权重的顺序是否也必须改变？如果是这样，TensorRT 期望得到的订单是多少？[IN_CHANNEL，OUT_CHANNEL，H，W]？

正如标题所说，我正在尝试使用 Nvidia 的 tensor-rt 库在 c++ 代码中使用 Python 中实现的预训练 tensorflow 网络。我知道我需要从“冻结图”创建一个 .pb 文件（我不知道那是什么意思），而不是在 c++ 中以某种方式使用 tensor-rt API。有人可以帮我吗？

我想弄清楚 TensorRT 人将“引擎”命名为什么。我想知道这一点，因为我不确定我是否能够使用相同的引擎在不同的 GPU 上推断真实架构。

我知道有一种代码可以执行神经网络推理步骤。我想知道它是否包含 cuda PTX 代码（一种由 CUDA JIT 解释的字节码），或者它可能是为给定 GPU 架构编译的实际二进制文件。

我希望它是一种可移植的字节码。你有什么线索吗？

非常感谢！

我已经使用 onnx 格式在 tensorrt 中实现了我的 Pix2Pix GAN 模型。但我不知道如何对 tensorRT 模型进行推理，因为 (3, 512, 512 ) 图像中模型的输入和输出也是 (3, 512, 512) 图像。样本没有清楚地显示如何从 tensorRT 引擎输入和输出图像。

这是我的代码：

但是输出并不像预期的那样。请告诉我，将图像输入到 tensorRT 引擎的最佳方式是什么，以及如何从中获得正确的输出。谢谢

我想使用 tensorrt 来加速 tensorflow 模型推断。但是这样做时我没有得到任何结果，以下是我的代码。返回框和分数均为无。我是否以错误的方式使用 TensorRT 和 tensorflow？

对于使用 TensorRT 优化的 TensorFlow 图，我遇到了极长的加载时间。未优化的加载速度很快，但加载优化的加载相同的代码需要10 多分钟：

我在 NVIDIA Drive PX 2 设备上（如果有的话），TensorFlow 1.12.0 是从源代码、CUDA 9.2 和 TensorRT 4.1.1 构建的。由于它卡在 ParseFromString() 我怀疑 protobuf 所以这里是它的配​​置：

这是我将非优化模型转换为 TRT 模型的方式：

在模型动物园的 ssd_mobilenet_v1_coco、ssd_mobilenet_v2_coco 和 ssd_inception_v2_coco 上进行了测试，它们的行为方式都相同 - 下载的 pb 文件在几秒钟内加载，TRT 优化 - 超过 10 分钟。怎么了？有没有人经历过同样的事情并且有任何提示如何解决它？

我不熟悉张量流。

我想将这个网络https://github.com/jiangsutx/SRN-Deblur从 tensorflow 转换为 nvidia tensorRT。它需要一个“.pb”模型文件，但该项目仅提供三个模型文件，如下所示：

• deblur.model-52300.data-00000-of-00001
• deblur.model-52300.index
• deblur.model-52300.meta

所以我想将这些文件转换为“.pb”文件。

我已经测试了以下人员给出的想法：

• https://blog.metaflow.fr/tensorflow-how-to-freeze-a-model-and-serve-it-with-a-python-api-d4f3596b3adc
• Tensorflow：如何将 .meta、.data 和 .index 模型文件转换为一个 graph.pb 文件

问题是两个给出的想法都失败了，因为get_checkpoint_state()和latest_checkpoint()给出了 None 值。

这是由于缺少检查点文件引起的吗？

还有其他方法可以实现吗？

任何想法都值得赞赏。

谢谢。