machine-learning - BERT 模型在语法正确性和语义连贯性方面的评估措施

Question

例如我有一个原句。吠叫这个词对应于缺少的词。

Original Sentence : The dog is barking.
Incomplete Sentence : The dog is ___________.

例如，使用 BERT 模型，它预测单词 cry 而不是 barking。我将如何衡量 BERT 模型的准确性，即预测词在句法上的正确性和语义上的连贯性？

（例如，有很多不完整的句子，任务是根据这些不完整的句子评估 BERT 的准确性。）请帮忙。

Answer 1

对于语法，您可以使用例如英语资源语法来确定句子是否符合语法。它是最大的英语语法手动策划描述，您可以尝试在线演示。语法（假设它具有足够大的覆盖范围，而它们通常不会）拒绝解析不合语法的句子，这与统计/神经解析器不同，它可以愉快地解析所有内容（并且通常比语法更好）。

估计语义合理性是一项非常困难的任务，鉴于 BERT 可能是当前最好的语言模型之一，您不能使用其他语言模型作为参考。有一些涉及建模语义似然性的学术论文，您可以从例如NAACL 2018 中的这篇开始。