deep-learning - Softmax 输出层到底是什么？

Question

我正在尝试在 c# 中制作一个简单的 conv 网络，并且我想制作一个 Softmax 输出层，但我现在不知道它是什么。它是具有 Softmax 激活的全连接层，还是仅输出数据的 softmax 的层？

Answer 1

Softmax 只是一个函数，它接受一个向量并输出一个大小相同的向量，其值在 [0,1] 范围内。向量内的值也遵循概率的基本规则，即。向量中的值之和 = 1。

softmax(x)_i = exp(x_i) / ( SUM_{j=1}^K exp(x_j) ) # for each i = 1,.., K

但有时人们使用 Softmax 分类器，它指的是具有输入和 1 个输出层的 MLP（这使其成为线性分类器，如线性 SVM），其中将 softmax 函数应用于输出层的输出。这种设置给出了输入接近每个输出类的概率。