machine-learning - 如何解释 SoftMax 回归中的“soft”和“max”？

Question

我知道softmax回归的形式，但我很好奇它为什么有这样的名字？还是只是出于某些历史原因？

Answer 1

最多两个数字max(x,y)可能有尖角/陡峭的边缘，这有时是不需要的属性（例如，如果你想计算梯度）。

要柔化 的边缘max(x,y)，可以使用边缘更柔和的变体：softmax 函数。它的核心仍然是一个最大函数（嗯，准确地说，它是它的近似值）但被平滑了。

如果仍然不清楚，这里是一个很好的阅读。

Answer 2

假设您有一组标量xi，并且您想计算它们的加权和，wi为每个标量赋予权重xi，使权重总和为 1（如离散概率）。一种方法是设置wi=exp(a*xi)一些正常数a，然后将权重归一化。如果a=0你得到一个普通的样本平均值。另一方面，对于一个非常大的值a你得到的max运算符，即加权和将是最大的xi。因此，改变 的值a会给你一个“软”，或者从常规平均到选择最大值的持续方式。如果您已经知道什么是 SoftMax 回归，那么这个加权平均值的函数形式应该看起来很熟悉。