cpu - 以最小延迟量化用于 cpu 的 Bert 问答模型

Question

我们如何训练 Roberta 的量化感知训练基础模型？量化模型在 CPU 上的延迟是否最小？我们如何在生产环境中使用 BERT 模型进行问答。