bert-language-model - 从本地存储库加载量化的 BERT 模型时出错

Question

量化 BERT 模型后，它可以正常工作。但是如果我保存量化模型并加载，它就不起作用。它显示一条错误消息：“LinearPackedParams”对象没有属性“_modules”。我使用相同的设备来保存和加载量化模型。

model = SentenceTransformer('bert-base-nli-mean-tokens')
model.encode(sentences)
quantized_model = torch.quantization.quantize_dynamic(
                model, {torch.nn.Linear}, dtype=torch.qint8)
quantized_model.encode(sentences) ```



torch.save(quantized_model, 
       "/PATH/TO/DESTINATION/Base_bert_quant.pt")
model=torch.load("/SAME/PATH/Base_bert_quant.pt")
model.encode(sentences) #shows the error