tensorflow - 用于移动的 Deeplab xception (tensorflow lite)

Question

我正在检查使用预先训练的 deeplab xception65_coco_voc_trainval模型运行图像分割的选项。

冻结模型大小约为 161MB，将其转换为 tflite 后大小约为 160MB，在我的 PC cpu 上运行此模型需要约 25 秒。

这是“预期的”还是我可以做得更好？

到 tflite 的转换如下：

tflite_convert \
--graph_def_file="deeplabv3_pascal_trainval/frozen_inference_graph.pb" \
--output_file="deeplab_xception_pascal.tflite" \
--output_format=TFLITE \
--input_shape=1,513,513,3 \
--input_arrays="sub_7" \
--output_arrays="ArgMax" \
--inference_type=FLOAT \
--allow_custom_ops

谢谢！

Answer 1

根据https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/model_zoo.md，具有 3 个 eval 尺度的 xception65_coco_voc_trainval 大约需要 223 秒。冻结图有一个单一的评估规模，所以〜25秒听起来对我来说是正确的。

为了加快 TfLite 的推理速度，我建议使用 gpu 委托，但是当你在 PC 上运行时，你需要找到一个更小的模型。也许尝试一种基于移动网络的模型？edgetpu 模型将在没有 edgetpu 的 tflite 中运行，并且应该非常快，尽管这些模型是在城市景观上训练的。