我正在使用一元语言模型。我想计算每个 unigram 的概率。我应该将 unigram 的出现次数除以不同 unigram 的数量，还是除以所有 unigram 的计数？
问问题
8462 次
3 回答
11
除以训练集中的记号总数，即单词出现次数。原因很容易看出：如果除以不同单词的数量，所有单词的概率不一定总和为 1，因此它们不会形成概率分布。
于 2013-04-25T23:01:24.847 回答
2
Jurafsky 的幻灯片是一篇关于语言建模的好介绍：http: //www.stanford.edu/class/cs124/lec/languagemodeling.pdf
于 2013-04-27T00:14:20.687 回答
1
我参考了Nara Institute of Science and Technology 的PDF，但稍微修改了它的示例，使用了起始标记。
这个例子是不言自明的。
<s> i live in osaka . </s>
<s> i am a graduate student . </s>
<s> my school is in nara . </s>
令牌总数为 23 个，包括<s>、</s>和.。
是什么p(<s> i live in nara . </s>)？
p(<s>) = 3/23
p(i) = 2/23
p(live) = 1/23
p(in) = 2/23
p(nara) = 1/23
p(.) = 3/23
p(</s>) = 3/23
会p(<s> i live in nara . </s>)是
(3/23)*(2/23)*(1/23)*(2/23)*(1/23)*(3/23)*(3/23) = (108)*(1/23)^7
于 2021-05-22T07:57:21.120 回答