machine-learning - 理解逻辑回归的概率解释

Question

我在发展对逻辑回归的概率解释的直觉时遇到问题。具体来说，为什么将逻辑回归函数的输出视为概率是有效的？

Answer 1

通过对类条件密度（即给定类，属于该类的概率是多少）和类先验（即类的概率是多少）进行建模，任何类型的分类都可以被视为概率生成模型，因此我们可以应用贝叶斯定理来获得后验概率（即给定x，它属于类的概率是多少）。它被称为生成，因为正如 Bishop 在他的书中所说，您可以使用该模型通过从边际分布中提取 的值来生成合成数据。p(x|C_k)C_kxp(C_k)C_kp(C_k|x)C_kxp(x)

这一切只是意味着每次你想将某物分类到一个特定的类别（例如肿瘤的大小是恶性的还是良性的），就会有可能是对还是错。

逻辑回归使用sigmoid 函数（或逻辑函数）来对数据进行分类。由于此类函数的范围从 0 到 1，因此您可以轻松地将其视为概率分布。最终，您正在寻找p(C_k|x)（在示例中，x可能是肿瘤的大小，C_0 代表良性和 C_1 恶性的类别），在逻辑回归的情况下，这由以下模型建模：

p(C_k|x) = sigma( w^t x )

其中sigma是 sigmoid 函数，w^t是转置的权重集w，x是您的特征向量。

我强烈建议您阅读Bishop 的书的第 4 章。

Answer 2

• Logistic 回归的概率解释基于以下 3 个假设：

1. 特征是实值高斯分布。
2. 响应变量是伯努利随机变量。例如，在二元类问题中，yi = 0 或 1。
3. 对于所有 i 和 j!=i，xi 和 xj 在给定 y 的情况下是条件独立的。（朴素贝叶斯假设）

所以本质上，

Logistic-Reg = 高斯朴素贝叶斯 + 伯努利类标签

• 如下图所示的优化方程：

• P(y=1 or 0/X) 的方程式如下图所示：

• 如果我们做一些数学运算，我们可以看到逻辑回归的几何和概率解释都归结为同一件事。

• 此链接有助于了解有关逻辑回归和朴素贝叶斯的更多信息。