0

我希望量化现有神经网络模型的权重和偏差。根据我的理解,定点表示确保权重、偏差和激活的固定位宽,具有预定固定数量的整数和小数位。

本质上我想执行训练后量化。我查看了这篇文章https://www.tensorflow.org/model_optimization/guide/quantization/post_training

但是,我找不到任何对我想要做的事情的支持,即能够在定点表示方案中为权重、偏差和激活指定整数和小数位的数量。

我确实找到了似乎支持此功能的 QKeras 库。但是,它似乎没有内置的量化 sigmoid 层。

任何可以帮助我做我想做的事情的指针或图书馆/文章推荐,都会非常有帮助并非常感激。

4

1 回答 1

0

使用任意定点小数(基数 2)类型量化权重和偏差的方法是使用fxpmath python 包。

您尝试做的一个简单示例是这个 jupyter notebook:Fixed-Point Precision Neural Network for MNIST dataset。考虑到它只显示权重和偏差的转换来评估推理性能,而不是激活。这也可以使用相同的包手动实现(它支持 Numpy)。

于 2021-02-18T11:57:36.563 回答