问题标签 [tensorrt]

我使用下面的脚本将我的 freeze_inference_graph 转换为 TensorRT 优化的：

我的问题是如何将这个优化的图形保存到磁盘上以便我可以使用它来运行推理？

我正在将自定义模型转换为包含“while_loop”的 TensorRT。'while_loop' 迭代固定数量的步骤。

这篇 GIT 帖子指出 TensorRT 与 while_loop 存在问题： https ://github.com/tensorflow/tensorrt/issues/87

我得到的当前错误是。此错误对应于我在 while 循环中创建的临时变量。

TensorRT 是否支持 while_loops？我的代码是在 TF 1.14 中实现的。如果不是，TensorRT 是否支持在 TF 2.0 中实现的 for 循环？

如果我删除 while_loop，我可以创建一个 UFF 模型。

提前致谢。

我试图运行基于以下链接的代码

https://documen.tician.de/pycuda/tutorial.html

在这个链接中运行代码结果很好。

这是我的具有类似定义的版本。请注意，我是在引擎上下文中运行的，因为我想运行一个 engine.execute 函数。

然而它在 memcpydtoh 上失败了，但 memcpyhtod 工作。

为什么会这样？定义类似于链接中的代码。

我在我的 Tensorflow 模型中使用了 Tensorflow 操作 ResizeArea、Select、Fill 和 Equal。当模型转换为 uff 时，收到警告为

因此，为 ResizeArea、Select、Fill 和 Equal 创建了插件。

然后插件被映射到 Tensorflow 操作为

为什么我仍然有警告

有什么问题？

尝试从需要身份验证的 NVIDIA 下载库。我可以正常从浏览器下载。但我需要在服务器（无浏览器）终端中下载它。

我尝试了几个选项，都不起作用。

和

它适用于其他下载，但此 NVIDIA 登录身份验证下载除外。很奇怪。

注意*但是，我在本地下载SCP到我的服务器，但这不是我想要的，如果文件很大并且互联网速度太慢或带宽限制怎么办。

我想将图形导出到 RT 进行推理。如何使用保存的模型来实现它。使用已保存模型进行推理的代码如下：

我不想使用frozen_inference_garph.pb. 我想saved_model/saved_model.pb用于推理（因为它的准确性更高）。

我有张量流模型，如图所示。并试图转换为 TensorRT。

upsample在转换为 TensorRT 时需要一个节点插件。

对于 Tensorflow 实现，假设输入大小为 1x3x4x19 形状并上采样为 1x12x14x19 张量。

在 TensorRT 插件中实现了同样的事情，考虑的流程如下。

张量流中的 1x3x4x19 张量是

先压扁成

展平的数据长度为 228。

19 个通道的数据很难可视化。

因此，3 通道数据再次用作展平数据的示例。

3通道数据的扁平数组是

该扁平数据被输入到插件中以进行上采样。我在插件中的 CUDA 代码需要扁平数据，如上所示。

但是插件输出很奇怪，与 Tensorflow 的上采样输出不同。我使用 Openpose1（如图所示）数据检查了 Tensorflow 的上采样操作。

TensorRT 引擎中的插件数据格式是否正确？如果不是，如何将输入数据馈送到插件？

插件输出看起来像输入是垂直展平的

在 Tensorflow 中，Tensor 格式为 NxWxHxC 并通过网络。

Tensorflow 模型转换为 TensorRT 引擎时，Tensor 数据是如何处理的。与 Thensoflow 中的形状相同或扁平。

Flattened 表示，例如 1x3x4x3 张量

被压扁成

单个数组并处理。

我的 Tensorflow 模型如下（模型的一部分）。

Tensorflow 模型需要采用 NHWC 格式，用于输入图像及其处理。在将 Tensorflow 模型转换为 TensorRT 引擎时，upsample 需要实现 Plugin。

但是 TensorRT 插件需要的格式必须是PluginFormat::kNCHW. 如果设置为 PluginFormat::kNHWC，则无法编译插件。

那么如何为这样的 TensorFlow 模型创建插件呢？

tensorflow模型转换为TensorRT，Tensorflow的ResizeArea（图中upsample）需要实现plugin。

所以 ResizeArea 是在 CUDA 中实现的。我的 TensorRT 输入是 NCHW 格式。

所以我的 CUDA 代码实现了 NCHW 重采样。我想确保我的重采样格式是正确的。

方法_1

NCHW resizearea（4 次上采样）样本。

每个像素上采样 4 次（例如，第一个像素 3 水平和垂直上采样 4 次）。这被认为是 NCHW 格式上采样。

方法_2

另一种实现方式被认为是 NHWC 格式的上采样。

3 通道数据 (83,86,77) 水平和垂直上采样。

Method_1 是 NCHW 上采样的正确方法吗？