我在这里有点困惑。我刚开始研究神经网络的主题，我构建的第一个使用了 Step-Activation，每个神经元都有阈值。现在我不想实现 sigmoid 激活，但似乎这种类型的激活不使用阈值，只使用神经元之间的权重。但是在我找到的关于这方面的信息中有阈值的词，只是我找不到它们应该在激活函数中的位置。
阈值是否用于神经网络中的 sigmoid 激活函数？
问问题
6481 次
3 回答
5
没有像步激活那样的离散跳跃。阈值可以被认为是 sigmoid 函数为 0.5 的点。一些 sigmoid 函数会将其设置为 0，而有些会将其设置为不同的“阈值”。
阶跃函数可以被认为是 sigmoid 函数的一个版本，其陡度设置为无穷大。在这种情况下有一个明显的阈值，对于不太陡峭的 sigmoid 函数，阈值可以被认为是函数值为 0.5 的地方，或最大陡度的点。
于 2012-09-13T12:18:02.773 回答
5
Sigmoid function's value is in the range [0;1], 0.5 is taken as a threshold, if h(theta) < 0.5 we assume that it's value is 0, if h(theta) >= 0.5 then it's 1.
Thresholds are used only on the output layer of the network and it's only when classifying. So, if you're trying to classify between 4 classes, then the output layer has 4 nodes y = [y1,y2,y3,y4], you'll use this threshold to assign y[i] 1 or 0.
于 2012-09-13T11:56:19.757 回答
1
它不需要。Sigmoid 曲线本身部分可以作为阈值。
于 2012-09-13T12:17:38.217 回答