nlp - 使用平滑生成 n-gram 语言模型的包？（NLTK 的替代品）

Question

我想找到某种类型的包或模块（最好是 Python 或 Perl，但其他人会这样做），它可以从输入文本自动生成 n-gram 概率，并且也可以自动应用一个或多个平滑算法。

也就是说，我正在寻找类似 NLTKNgramModel类的东西。我不能将其用于我的目的，因为平滑函数存在一些错误，当您询问它以前未见过的单词的概率时，这会使它窒息。

我已经阅读了 NLTK 的开发论坛，到目前为止，这方面似乎没有任何进展。

有什么替代品吗？

Answer 1

看起来我回答了我自己的问题，所以我会提到我在这里找到的内容，以防其他人正在寻找它。

我发现了两个工具包：

• 丝网

• CMU-Cambridge 统计语言建模工具包

它们似乎具有非常相似的功能。两者都包括各种平滑功能。

Answer 2

NLTK 还提供了一个 ngram 模型包，里面有平滑、退避等功能。

Answer 3

我想另一个答案是下载谷歌提供的数据集（如果该数据适合您的应用程序），或者使用他们的在线查看器。