问题标签 [torchscript]

我正在尝试将工作的流式TorchScript 模型导出到 ONNX，但遇到了一些问题。

我强调流意味着它有一些控制流，因此它需要作为torch.jit.scriptAFAIK 导出。

问题是我得到了这个RuntimeError

我查找错误并找到了这个https://github.com/pytorch/pytorch/blob/master/torch/csrc/jit/passes/freeze_module.cpp#L348

我不知道从哪里开始寻找以解决这个问题。有人知道如何解决这个问题或解决它吗？

我在 torchscript 'model.pt' 中有模型，我想在 OpenCV 中加载它，这可能吗？我在谷歌找到了一些东西，但没有用；/你有什么东西可以将 torscript 模型导出到 opencv 'onnx' 吗？

这段代码给了我错误：

我是 C++ 和 libtorch 的新手，我尝试通过 torchscript 加载模型并执行推理，代码如下：

结果是这样的：

如何使用 c++ 从返回输出对象中获取值框、标签、分数和掩码？我尝试了很多方法，但编译总是错误并抛出“c10::IValue”错误。

还有更多的问题，为什么当我将模型转换为torchscript时，由C++执行的时间推断比python慢​​？非常感谢

我正在从 C++ 程序调用一个 torchscript（从 Python 序列化的神经网络）：

通常，要从输出中获取数据，会执行以下（逐元素）操作：

但是，这种循环使用.item效率非常低（在实际代码中，我将在每个时间步预测数百万个点）。我想直接从中获取数据outputs（不循环元素）。我试过：

但是，它给出了错误：

请注意，该类型outputs_data是固定的double，不能更改。

问题： 如何在不重新训练模型的情况下改善 Web 部署的模型延迟？我应该标记哪些清单以提高模型速度？

背景： 我有多个模型，它们在一台机器上按顺序处理视频，带有一个 K80 GPU；每个模型大约需要 5 分钟来处理一个 1 分钟长的视频。在不改变模型架构的情况下，我应该尝试哪些想法和建议来改善每个模型的延迟？我应该如何构建我对这个问题的思考？

我有一个 FasterRCNN 模型在 Linux 上的 PyTorch 中训练（pytorch 1.9.0，torchvision 0.10.0）并使用以下方法写入磁盘：

之后，我想得到一个 torchscript 版本，这样我就可以在 C++ libtorch 中加载它，所以我编写了一个最小的脚本来加载它，调用 torch.jit.script 并保存它：

但是，当我运行此后处理脚本时，出现此错误：

我做了很多阅读问答，看到很多关于 Torchscript 不支持 FasterRCNN 的讨论，但这些讨论似乎（相对）过时了，我所看到的似乎暗示它现在应该可以工作了。所以我想知道我是否误解了关于现在支持它的讨论，或者我做错了什么。任何见解将不胜感激。

将我的 pytorch 模型转换为 onnx 后，我需要使用 onnxruntime 实现模型。在 torch::jit 源代码中有一个初始化为 IValue 的变量，我想用在 onnxruntime 中具有相同功能的结构替换它。有人熟悉 torchscript 和 onnxruntime 吗？代码如下：

我nn.Module用 torch.jit.script 转换并以 .pt 格式保存。该模块中的 forward 函数有一个 Int 参数。

当我在 C++ 中加载模块时，我像这样传递张量，

但是我应该如何为 Int 编写它？我应该使用哪个结构？

我有一个模型保存为 torchscript 的文件。我需要运行它，但我没有其输入形状的信息。有没有办法通过查看文件来找出答案？

我对火炬脚本有疑问。

我认为 pytorch 模型包含一个框架和通过训练调整的参数。这是对的吗？

暴露的 torchscript 文件是否同时包含框架和通过训练调整的参数？

从在 GPU 上训练的模型获得的火炬脚本是否也适用于 CPU？而且，反之亦然？

TIA