问题标签 [onnxruntime]

我正在按照本指南进行操作convert darknet to onnx。但是，我面临以下错误：

“C:\Users\Scott\Anaconda3\envs\pytorch_yolov4\lib\site-packages\torch\onnx\symbolic_helper.py”，第 253 行，在 _set_opset_version 中引发 ValueError("Unsupported ONNX opset version:" + str(opset_version)) ValueError：不支持的 ONNX opset 版本：11

这个错误是什么意思以及如何处理它？

我将 TF 模型转换为 ONNX，然后将 ONNX 模型转换为 Caffe2。转换成功发生。但是，尝试从获得的模型加载和推断时出现运行时错误。

这是我收到的错误。如何将属性“is_true”添加到 SpatialBN 节点？

我浏览了 pytorch repo 并看到了这个问题，但是，它没有得到解决。在 ONNX here的代码库中，它添加is_test了 opset >=7 的属性，我使用的是 8。但是，它仍然给出错误。

我已将 savedModel 格式转换为 onnx 模型，但是通过 onnxruntime 加载它时

它向我抛出以下错误：

我使用的 savedModel 是来自 tensorflow 网站的 Keras 预训练 MobileNet：https ://www.tensorflow.org/guide/saved_model 。

我看到 netron 中的参数是浮动的，但我无法解决和理解这个问题。

以下是netron的片段：

要将训练有素的 Onnx 模型与 WPF .Net Core 3.1 应用程序打包在一起，我想知道这两种方法是否有区别：Microsoft.ML.OnnxRuntime 和 Microsoft.AI.MachineLearning (WinML)？OnnxRuntime 似乎更容易用 C# 实现，而 WinML 的桌面应用程序示例使用 C++。

使用 OnnxRuntime 为公共用户部署 Onnx 模型有什么缺点吗？或者它是否需要特定的推理环境？

如果它们本质上是相同的，为什么微软需要维护两种不同的方法？

我正在尝试在使用 OnnxRuntime 和 OpenVINO 连接到 Raspberry Pi 4B 的 Intel Compute Stick 2（MyriadX 芯片）上运行推理。我已经设置好一切，openvino 提供程序被 onnxruntime 识别，我可以在可用设备列表中看到无数。

但是，在尝试对无数个进行推理时，我总是会遇到某种内存损坏。我不确定这是从哪里来的。如果我使用默认的 CPU 推理而不是 openvino，一切正常。也许我创建Ort::MemoryInfo对象的方式不正确。

输出

这是我正在使用的代码

我想在 python 中使用 onnxruntime 来推断来自 onnx 模型的许多输入的输出。一种方法是使用 for 循环，但这似乎是一种非常琐碎且缓慢的方法。有没有办法和sklearn一样？

onnxruntime 的单一预测：

sklearn 中的单/多预测（取决于 的大小x_test）：

我在 Pytorch 中训练了一些基于 Unet 的模型。它将图像作为输入，并返回一个掩码。训练后我将它保存为ONNX格式，使用onnxruntime python 模块运行它，它就像一个魅力。

现在，我想在 Linux 的 C++ 代码中使用这个模型。

解释时是否有简单的教程（Hello world）：

• 如何将onnxruntime模块合并到 Ubuntu 中的 C++ 程序（安装共享库等）？
• 如何正确加载图像并将其传递给模型？

PS 我只发现了这个：https : //www.onnxruntime.ai/docs/tutorials/samples_catalog.html#cc 但是没有关于加载图像并将其转换为 ONNX 的信息 - C++ 代码中的兼容格式。

我需要部署一个 yolov4 推理模型，并且我想将 onnxruntime 与 tensorRT 后端一起使用。我不知道如何在 C++ 中发布处理 yolov4 检测结果。我有一个用 python 编写的示例，但我找不到 C++ 示例。

https://github.com/onnx/models/tree/master/vision/object_detection_segmentation/yolov4

是否有样本知道如何处理 yolov4 onnx 结果？

谢谢

我在 ONNX 模型上运行推理时遇到问题，要么对此 Windows ML 教程进行（微小）调整，要么按照他们的MNIST 教程实现我自己的ONNX 运行时代码。据我了解，Windows ML使用 ONNX 运行时，因此这两项工作可能最终都在同一个地方......并且可能出于相同的原因生成相同的底层异常。

抛出的异常要么难以理解（外观处理异常期间抛出的第二个异常......），要么根本无法识别。这让我怀疑网络本身在某种意义上是否有故障或不兼容。该网络是通过采用保存的 Tensorflow/Keras 模型并运行此转换来生成的：

结果是一个由Netron渲染的网络，具有以下输入和输出阶段：

这个网络有什么明显与 ONNX Runtime 不兼容的地方吗？关于如何克服这些异常中的一个/两个的任何建议？

是否可以通过 WinML API 调用任何 ONNX 运行时执行提供程序？我能够通过 WinML 运行自定义 DML，但无法找到 WinML 到 onnxruntime EP 的步骤。