machine-learning - “机器学习算法学习概率分布”这句话是什么意思？这里到底发生了什么

Question

生成模型和判别模型似乎学习条件 P(x|y) 和联合 P(x,y) 概率分布。但在基本层面上，我无法说服自己学习概率分布意味着什么。

Answer 1

这意味着您的模型要么用作从中提取训练样本的分布的估计器，要么正在利用该估计器执行其他一些预测。

举一个简单的例子，考虑一组观察{x[1], ..., x[N]}。假设您想在其上训练一个高斯估计器。从这些样本中，该高斯估计器的最大似然参数将是数据的均值和方差

Mean = 1/N * (x[1] + ... + x[N])

Variance = 1/(N-1) * ((x[1] - Mean)^2 + ... + (x[N] - Mean)^2)

现在您有了一个模型，该模型能够从（估计）您的训练样本的分布中生成新样本。

再复杂一点，您可以考虑像高斯混合模型之类的东西。这同样可以推断给定数据的模型的最佳拟合参数。除了这一次，该模型由多个高斯组成。因此，如果给定一些测试数据，您可以根据每个高斯分量对观察点概率密度的相对贡献，为每个样本概率性地分配类别。这当然是机器学习的基本假设：你的训练和测试数据都来自同一个分布（你应该检查一下）。