1

以下代码片段创建一个 8 位量化的 TF Lite 模型，并替换QUANTIZED_UINT8为FLOAT创建一个 32 位模型。是否有任何标志可以创建 16 位量化模型？我搜索了 TF Lite 文档，但在可能的标志列表中找不到任何文档。有谁知道如何做到这一点？

~/tensorflow/bazel-bin/tensorflow/contrib/lite/toco/toco \
  --input_file=$(pwd)/model.pb \
  --input_format=TENSORFLOW_GRAPHDEF \
  --output_format=TFLITE \
  --output_file=$(pwd)/model.lite --inference_type=QUANTIZED_UINT8 \
  --input_type=QUANTIZED_UINT8 --input_arrays=conv2d_1_input \
  --default_ranges_min=0.0 --default_ranges_max=1.0 \
  --output_arrays=average_pooling2d_2/AvgPool --input_shapes=1024,32,32,2
4

1 回答 1

1

目前，TFLite 唯一支持的 8 位量化类型。见这里：https ://github.com/tensorflow/tensorflow/blob/54b62eed204fbc4e155fbf934bee9b438bb391ef/tensorflow/lite/toco/types.proto#L27

这是因为，对于现有的量化模型，发现 8 位就足够了，但这可能会改变。如果您的模型需要更多位进行量化，则可能值得创建一个 TensorFlow 问题来描述您的用例。

于 2018-01-05T21:43:48.007 回答