3

我在文本分类中使用朴素贝叶斯。

假设我的词汇是 ["apple","boy","cup"] 并且类别标签是 "spam" 或 "ham"。每个文档将被覆盖到一个 3 维 0-1 向量。例如，“apple boy apple apple”将转换为 [1,1,0]

现在我已经从训练示例中计算了条件概率 p("apple"|"spam"), p("apple"|"ham"), p("boy"|"spam")...等。

要测试文档是垃圾邮件还是火腿，例如“apple boy”-> [1,1,0]，我们需要计算 p(features | classLabel)

使用条件独立，用于测试向量 [1,1,0]

我知道这两个公式

(1) p(特征|"火腿") = p("苹果"|"火腿")p("男孩"|"火腿")

(2) p(特征|"火腿") = p("苹果"|"火腿")p("男孩"|"火腿")(1-p("杯子"|"火腿"))

哪个公式是正确的？

我相信（2）是正确的，因为我们有 3 个特征（实际上是词汇表中的 3 个单词）。但是我看到其他人使用（1）编写的代码。虽然术语 1-p("cup"|"ham") 接近 1 所以它不会有太大的区别，但我想要确切的答案。

4

1 回答 1

2

您的直觉是正确的，您编写的代码也可能是正确的。但是，您的问题在于符号。（我需要承认，一开始很难理解它。）您缺少的最重要的概念是随机变量（RV）

我使用HAM、CUP和BOY作为HAM随机变量。contains每个 RV 可以采取(c) 或not contains(nc)两种可能的事件。一个文本包含男孩的概率可以写成P(BOY=contains)并且它不包含这个词是P(BOY=not contains)= 1-P(BOY=contains)

反过来，正确的公式是

P(FEATURES| HAM) =  P(CUP,BOY,APPLE|HAM) = P(CUP|HAM)P(BOY|HAM)P(APPLE|HAM)

最后一步是由于朴素贝斯假设。要计算您要求的概率，您需要计算

 P(BOY=c,APPLE=c,CUP=nc|HAM) = P(BOY=c|HAM)P(APPLE=c|HAM)P(CUP=nc|HAM) 
                             = P(BOY=c|HAM)P(APPLE=c|HAM)(1-P(CUP=c|HAM))

实际上，这些仍然是两个概率（总和不等于一个），因为HAM可以占用两个值。

于 2016-01-03T12:09:57.120 回答