tensorflow2.0 - Bert分类器模型的量化

Question

我目前正在尝试量化一个 bert-classifier 模型，但遇到了一个错误，我想知道目前是否支持这一点？为清楚起见，我问的是 tensorflow-model-garden 中的 BERT 分类器超类是否支持量化？在此先感谢您的帮助！

Answer 1

如果您对在资源受限的边缘设备（如手机）上运行类似 BERT 的模型感兴趣，量化标准 BERT 分类器可能不是一个好方法。对于您的具体问题，我相信答案是“不，不支持标准 BERT 的量化”。但是，更好的答案可能是使用为边缘用例创建的较小的 BERT 类型模型之一，例如 MobileBERT：

https://github.com/google-research/google-research/tree/master/mobilebert

上面的链接包含用于微调然后转换为 TF Lite 格式以便在设备上运行的脚本。