tensorflow - tensorflow lite 模型是否已经量化？

Question

转换后的tensorflow lite模型是否总是有量化的计算和输出？还是取决于张量流模型的输入和推理类型？

Answer 1

这取决于推理类型。

首先，输入模型应该配备量化操作，https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize可以对此有所帮助。

应将生成的评估图提供给 TOCO 以使用 --inference_type=QUANTIZED_UINT8 以及输入数组的正确 --mean_values 和 --std_values 进行转换。

有关如何为量化模型调用 TOCO 的一些示例，请参阅https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/g3doc/cmdline_examples.md 。

更新：我们添加了一个新的训练后量化工具：https ://medium.com/tensorflow/tensorflow-model-optimization-toolkit-post-training-integer-quantization-b4964a1ea9ba ，它应该比旧的量化方法更容易。