python - 使用斯坦福解析器检查句子是否语法正确

Question

有什么方法可以检查一个句子在语法上是否正确或不使用斯坦福解析器？到目前为止，我能够使用斯坦福解析器获得句子的解析树。我被困在这里，不知道如何进一步。

Answer 1

larsmans 是正确的，这些解析器不是为此而设计的，但这里有一个 hack：

您可以尝试使用解析器“信心”。每个概率解析器计算不同标签的概率并分配最可能的序列。我已经用词性标注器（http://www.ark.cs.cmu.edu/TweetNLP/）尝试了这个，每个标签都被赋予了一定的信心（0.93、0.45等），我计算了一个句子中所有标签的平均置信度，并将其与某个置信度阈值（基于语料库中的其他句子）进行比较。

显然，如果标签的置信度不够高，我认为该句子在语法上是不正确的。经过一些启发式方法——比如处理标点符号或一个单词的句子——它对我有用。

斯坦福解析器是概率性的，并且可以肯定地计算概率，但我无法得到盒子的信心。也许您必须深入研究，看看如何才能暴露它。