我寻找可以使用语言模型的拼写检查器。
我知道有很多很好的拼写检查器,例如Hunspell,但是我认为它与上下文无关,所以它只是基于标记的拼写检查器。
例如,
I lick eating banana
因此,在基于标记的级别,根本没有拼写错误,所有单词都是正确的,但句子中没有任何意义。然而,“智能”拼写检查器会识别出“lick”实际上是正确书写的单词,但可能是作者的意思是“like”,然后句子中有含义。
我在特定领域有一堆正确书写的句子,我想训练“智能”拼写检查器来识别拼写错误并学习语言模型,这样即使认为“舔”写得正确,它也会识别出来,但是作者的意思“喜欢”。
我没有看到 Hunspell 有这样的功能,你能推荐任何其他的拼写检查器,可以这样做。