10

我有一个 TensorFlow 模型，我想将其转换为 tflite 模型，该模型将部署在 ARM64 平台上。

恰好我的模型的两个操作（RandomStandardNormal，Softplus）似乎需要自定义实现。由于执行时间并不那么重要，我决定使用使用扩展运行时的混合模型。我通过以下方式转换它：

graph_def_file = './model/frozen_model.pb'
inputs = ['eval_inputs']
outputs = ['model/y']

converter = tf.lite.TFLiteConverter.from_frozen_graph(graph_def_file, inputs, outputs)
converter.target_ops = [tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS]

tflite_file_name = 'vae_' + str(tf.__version__) + '.tflite'

tflite_model = converter.convert()
open(tflite_file_name, 'wb').write(tflite_model)

这很有效，我最终得到了一个看似有效的 tflite 模型文件。每当我尝试使用解释器加载此模型时，都会出现错误（无论我使用 Python 还是 C++ API）：

ERROR: Regular TensorFlow ops are not supported by this interpreter. Make sure you invoke the Flex delegate before inference.
ERROR: Node number 4 (FlexSoftplus) failed to prepare.

我很难在 tf 网站上找到有关如何为这两个 API 调用 Flex 委托的文档。我偶然发现了一个似乎与此问题相关的头文件（“tensorflow/lite/delegates/flex/delegate_data.h”），但将其包含在我的 C++ 项目中会产生另一个错误：

In file included from /tensorflow/tensorflow/core/common_runtime/eager/context.h:28:0,
                 from /tensorflow/tensorflow/lite/delegates/flex/delegate_data.h:18,
                 from /tensorflow/tensorflow/lite/delegates/flex/delegate.h:19,
                 from demo.cpp:7:
/tensorflow/tensorflow/core/lib/core/status.h:23:10: fatal error: tensorflow/core/lib/core/error_codes.pb.h: No such file or directory
 #include "tensorflow/core/lib/core/error_codes.pb.h"
          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
compilation terminated.

无论如何，以前有没有人遇到过并解决过这个问题？如果您有示例片段，请分享链接！

4

2 回答 2

2

使用 bazel 管道构建 TensorFlow Lite 库时，可以包含并启用额外的 TensorFlow ops 库，如下所示：

如有必要，通过添加 --config=monolithic 构建标志来启用整体构建。

将 TensorFlow ops 委托库依赖项添加到构建依赖项：tensorflow/lite/delegates/flex:delegate。

请注意，只要委托链接到客户端库，就会在运行时创建解释器时自动安装必要的 TfLiteDelegate。不需要像其他委托类型通常需要的那样显式安装委托实例。

Python pip 包

Python 支持正在积极开发中。

来源：https ://www.tensorflow.org/lite/guide/ops_select

于 2020-06-17T12:59:52.283 回答
0

根据https://www.tensorflow.org/lite/guide/ops_select#android_aar于 2019/9/25

“选择运算符”的 Python 支持正在积极开发中。

您可以使用 FlexDelegate 在 Android 中测试模型。我以同样的方式成功运行了我的模型。

例如https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/java/src/test/java/org/tensorflow/lite/InterpreterFlexTest.java

于 2019-09-25T07:19:52.923 回答