python - 从 BERT 到机器学习模型的 Word Embedding 精度不好

Question

我正在尝试通过从 BERT 中提取词嵌入并将词嵌入提供给机器学习模型来解决产品匹配任务。

但是，准确性并不好。

我尝试了不同的截断策略，并使用单个属性或连接的 2 个属性作为词嵌入的输入，但准确性并没有提高很多。

您能否建议我如何提高模型的性能？

这是github中的项目 https://github.com/jajawong/Data-Science/blob/main/Copy_of_FineTuneBert_Feature_Extraction%20(1).ipynb