8

我正在编写一份文档，该文档应包含使用朴素贝叶斯（生成）和逻辑回归（判别）模型进行文本分类之间的主要区别。

在我的研究中，我遇到了朴素贝叶斯模型的定义：https ://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

文档d在类别c中的概率计算为 ... 其中p(tk|c)是术语在类别文档中出现的条件概率...tkc


当我开始比较生成模型和判别模型时，我发现 StackOverflow 上的这个解释被接受：生成算法和判别算法有什么区别？

生成模型学习联合概率分布p(x,y)，判别模型学习条件概率分布p(y|x)——您应该将其理解为“给定 x 的 y 概率”。


在这一点上，我感到困惑：朴素贝叶斯是一个生成模型并使用条件概率，但同时判别模型被描述为好像它们学习了条件概率，而不是生成模型的联合概率。


有人可以对此有所了解吗？

谢谢！

4

1 回答 1

5

从某种意义上说，它是生成式的，您不直接对后验进行建模，p(y|x)而是学习联合概率的模型，该模型p(x,y)也可以表示为p(x|y) * p(y) （似然时间先验），然后通过贝叶斯规则，您寻求找到最可能的y .

在这种情况下，我可以推荐一本好书：“论判别式与生成式分类器：逻辑回归和朴素贝叶斯的比较” （Ng & Jordan 2004）

于 2019-12-14T22:56:51.470 回答