python - 如何为特定领域的表征学习任务训练一个 BERT 模型？

Question

我正在尝试为某些特定类型的 od 文本生成良好的句子嵌入，使用句子转换器模型，同时使用 kmeans 测试相似性和聚类并没有给出好的结果。有什么改进的想法吗？我正在考虑在我的数据集上训练任何句子转换器模型（它们只是句子但没有任何标签）。我如何才能专门针对 ny 数据重新训练现有模型以生成更好的嵌入。谢谢。

Answer 1

由预训练的 BERT 模型产生的句子嵌入是通用的，不需要适用于所有任务。

要解决这个问题：

1. 使用给定任务上的任务特定语料库微调模型（如果最终目标是分类，微调分类任务的模型，稍后您可以使用来自 BERT 模型的嵌入）（这是建议的方法使用嵌入，尤其是当模型仍然是黑盒时）

2. 使用掩码语言模型以无监督方式微调模型。这不需要你事先知道任务，但你可以使用实际的 BERT 训练策略来适应你的语料库。