information-retrieval - 如何平滑一元

Question

我有一个一元语言模型，我想平滑计数。是添加一个平滑的唯一方法还是我也可以使用其他一些平滑。我不认为我们可以使用 knesser nay，因为它适用于 N>=2 的 Ngram。你知道其他的平滑方法吗？

威腾贝尔怎么样？

Answer 1

对于 unigram 平滑，Good-Turing 将是最佳选择......而且它很容易（应用）！

http://en.wikipedia.org/wiki/Good%E2%80%93Turing_frequency_estimation

对于更高阶，修正插值 Kneser-Ney 是一个不错的选择。