18

我已通过以下方式将模型导出到 ONNX：

# Export the model
torch_out = torch.onnx._export(learn.model,             # model being run
                           x,                       # model input (or a tuple for multiple inputs)
                          EXPORT_PATH + "mnist.onnx", # where to save the model (can be a file or file-like object)
                           export_params=True)      # store the trained parameter weights inside the model file

现在我正在尝试将模型转换为 Tensorflow Lite 文件，以便可以在 Android 上进行推理。不幸的是，对于 Android，PyTorch/Caffe2 支持相当缺乏或过于复杂，但 Tensorflow 看起来要简单得多。

ONNX to Tflite 的文档对此非常了解。

我尝试通过以下方式导出到 Tensorflow GraphDef 原型：

tf_rep.export_graph(EXPORT_PATH + 'mnist-test/mnist-tf-export.pb')

然后运行toco：

toco \
--graph_def_file=mnist-tf-export.pb \
--input_format=TENSORFLOW_GRAPHDEF \
--output_format=TFLITE \
--inference_type=FLOAT \
--input_type=FLOAT \
--input_arrays=0 \
--output_arrays=add_10 \
--input_shapes=1,3,28,28 \
--output_file=mnist.tflite`

当我这样做时，我收到以下错误：

File "anaconda3/lib/python3.6/site-packages/tensorflow/lite/python/convert.py", line 172, in toco_convert_protos
    "TOCO failed. See console for info.\n%s\n%s\n" % (stdout, stderr))
tensorflow.lite.python.convert.ConverterError: TOCO failed. See console for info.
2018-11-06 16:28:33.864889: I tensorflow/lite/toco/import_tensorflow.cc:1268] Converting unsupported operation: PyFunc
2018-11-06 16:28:33.874130: F tensorflow/lite/toco/import_tensorflow.cc:114] Check failed: attr.value_case() == AttrValue::kType (1 vs. 6)

此外，即使我运行命令时，我也不知道为 input_arrays 或 output_arrays 指定什么，因为该模型最初是在 PyTorch 中构建的。

有没有人成功地将他们的 ONNX 模型转换为 TFlite？

这是我要转换的 ONNX 文件：https ://drive.google.com/file/d/1sM4RpeBVqPNw1WeCROpKLdzbSJPWSK79/view?usp=sharing

额外信息

  • Python 3.6.6 :: Anaconda 自定义（64 位）
  • 恩克斯。版本= '1.3.0'
  • tf。版本= '1.13.0-dev20181106'
  • 火炬。版本= '1.0.0.dev20181029'
4

2 回答 2

13

我认为您提供的 ONNX 文件model.onnx已损坏，我不知道是什么问题，但它没有对 ONNX 运行时进行任何推断。

现在您可以直接在手机上运行 PyTorch 模型。在此处查看 PyTorch Mobile 的文档

此答案适用于 TensorFlow 版本 1，
对于 TensorFlow 版本 2 或更高版本，请单击链接

将模型从 protobuf freezeGraph 转换为 TFlite 的最佳方法是使用官方 TensorFlow lite 转换器文档

根据 TensorFlow Docs，TocoConverter 已被弃用

此类 (tf.compat.v1.lite.TocoConverter) 已被弃用。请改用 lite.TFLiteConverter。

从 PyTorch 转换为 ONNX 模型

将模型从Pytorch转换为Onnx的最佳实践是您应该添加以下参数以在torch.onnx.export()函数中指定模型的输入和输出层的名称


# Export the model from PyTorch to ONNX
torch_out = torch.onnx._export(model,             # model being run
                                x,          # model input (or a tuple for multiple inputs)
                                EXPORT_PATH + "mnist.onnx",      # where to save the model (can be a file or file-like object)
                                export_params=True,       # store the trained parameter weights inside the model file
                                input_names=['main_input'],     # specify the name of input layer in onnx model
                                output_names=['main_output'])     # specify the name of input layer in onnx model

所以在你的情况下：现在使用 onnx-tf 将此模型导出到 TensorFlow protobuf FreezeGraph

请注意，此方法仅在 tensorflow_version < 2 时有效

从 ONNX 转换为 TensorFlow freezGraph

要转换模型，请从以下命令安装 onnx-tf 版本 1.5.0

pip install  onnx-tf==1.5.0

现在要将 .onnx 模型转换为 TensorFlow 冻结图，请在 shell 中运行以下命令

onnx-tf convert -i "mnist.onnx" -o  "mnist.pb"

从 TensorFlow FreezeGraph .pb 转换为 TF

现在将此模型从 .pb 文件转换为 tflite 模型，请使用此代码

import tensorflow as tf
# make a converter object from the saved tensorflow file
converter = tf.lite.TFLiteConverter.from_frozen_graph('mnist.pb', #TensorFlow freezegraph .pb model file
                                                      input_arrays=['main_input'], # name of input arrays as defined in torch.onnx.export function before.
                                                      output_arrays=['main_output']  # name of output arrays defined in torch.onnx.export function before.
                                                      )
# tell converter which type of optimization techniques to use
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# to view the best option for optimization read documentation of tflite about optimization
# go to this link https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

# convert the model 
tf_lite_model = converter.convert()
# save the converted model 
open('mnist.tflite', 'wb').write(tf_lite_model)

要选择最适合您的模型用例优化的选项，请参阅有关 TensorFlow lite 优化的官方指南

https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

注意：您可以在 Google Colaboratory链接上尝试我的 Jupyter Notebook将 ONNX 模型转换为 Tensorflow Lite

于 2019-10-27T01:50:02.123 回答
1

现在您可以直接在手机上运行 PyTorch 模型。在此处查看 PyTorch Mobile 的文档

此答案适用于 TensorFlow 版本 2 或更高版本，
对于 TensorFlow 版本 1，请单击此处

将模型从 protobuf freezeGraph 转换为 TFlite 的最佳方法是使用官方 TensorFlow lite 转换器文档

根据 TensorFlow Docs，TocoConverter 已被弃用

此类 (tf.compat.v1.lite.TocoConverter) 已被弃用。请改用 lite.TFLiteConverter。

从 PyTorch 转换为 ONNX 模型

# Export the model from PyTorch to ONNX
torch_out = torch.onnx.export(model,             # model being run
                                x,          # model input (or a tuple for multiple inputs)
                                EXPORT_PATH + "mnist.onnx",      # where to save the model (can be a file or file-like object)
                                export_params=True,       # store the trained parameter weights inside the model file
)

所以在你的情况下：现在使用 onnx-tf 将此模型导出到 TensorFlow protobuf FreezeGraph

从 ONNX 转换为 TensorFlow freezeGraph

要从以下命令转换模型安装onnx-tf

git clone https://github.com/onnx/onnx-tensorflow.git && cd onnx-tensorflow
pip install -e .

现在要将 .onnx 模型转换为 TensorFlow 冻结图，请在 shell 中运行以下命令

onnx-tf convert -i "mnist.onnx" -o  "mnist.pb"

从 TensorFlow FreezeGraph .pb 转换为 TF

现在将此模型从 .pb 文件转换为 tflite 模型，请使用此代码

import tensorflow as tf
# make a converter object from the saved tensorflow file
converter = tf.lite.TFLiteConverter.from_saved_model('mnist.pb')
# tell converter which type of optimization techniques to use
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# to view the best option for optimization read documentation of tflite about optimization
# go to this link https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

# convert the model 
tf_lite_model = converter.convert()
# save the converted model 
open('mnist.tflite', 'wb').write(tf_lite_model)

要选择最适合您的模型用例优化的选项，请参阅有关 TensorFlow lite 优化的官方指南

https://www.tensorflow.org/lite/guide/get_started#4_optimize_your_model_optional

于 2021-05-02T15:15:36.970 回答