我想应用微调 Bert 来计算句子之间的语义相似度。我搜索了很多网站，但我几乎没有在下游找到这个。
我刚刚找到STS benchmark。我想知道我是否可以使用 STS 基准数据集来训练微调 bert 模型，并将其应用于我的任务。合理吗？
据我所知，计算相似度的方法有很多，包括余弦相似度、皮尔逊相关度、曼哈顿距离等。语义相似度如何选择？
问问题
3320 次
2 回答
2
此外，如果您要进行二元判断（“语义相似”是/否），BERT 实际上是使用 MRPC（Microsoft Research Paraphrase Corpus）在此任务上进行基准测试的。google github存储库https://github.com/google-research/bert包含一些对此的示例调用，请参阅句子（和句子对）分类任务部分中的 --task_name=MRPC。
于 2019-12-04T14:24:20.157 回答
1
作为前面的一般评论，我想强调这种问题可能不会被视为 Stackoverflow 上的主题，请参阅如何提问。然而，有一些相关网站可能更适合这类问题（无代码，理论上的 PoV），即AI Stackexchange或Cross Validated。
如果您查看Mueller 和 Thyagarajan在该领域相当流行的一篇论文，该论文关注在 LSTM 上学习句子相似性，他们使用了一个密切相关的数据集（SICK 数据集），该数据集也由 SemEval 竞赛主办，并与2014 年的 STS 基准。
其中任何一个都应该是一个合理的微调集，但 STS 已经运行多年，因此可用的训练数据量可能更大。
作为该主题的入门读物，我还强烈推荐 Adrien Sieg 的 Medium 文章（请参阅此处，随附 GitHub 参考资料。
对于语义相似性，我估计您最好微调（或训练）神经网络，因为您提到的大多数经典相似性度量都更突出地关注令牌相似性（因此，句法相似性，尽管甚至不是那必然）。另一方面，语义有时可能在单个词上大相径庭（可能是否定词，或者两个词的交换句位），这很难用静态方法解释或评估。
于 2019-12-04T09:50:03.180 回答