pytorch - ONNX 模型推理对相同的输入产生不同的结果

Question

我正在使用一个相同的输入来测试多个推理调用的 ONNX 模型，但每次都会产生不同的结果？

有关详细信息，请参阅下面的 Colab 脚本。

https://colab.research.google.com/drive/1cBd0MkQ804FXjWtOME1EB1-UiTXe1elp#scrollTo=bRLuTOjO2YQU

Answer 1

这是意料之中的，因为 ONNX 不提供确定性计算（详情）。

该标志SessionOptions.use_deterministic_compute用于 ONNX 训练，但推理永远不稳定。转换脚本提供了许多具有可配置绝对和相对误差的测试。