我在这里有点困惑。我刚开始研究神经网络的主题,我构建的第一个使用了 Step-Activation,每个神经元都有阈值。现在我不想实现 sigmoid 激活,但似乎这种类型的激活不使用阈值,只使用神经元之间的权重。但是在我找到的关于这方面的信息中有阈值的词,只是我找不到它们应该在激活函数中的位置。
阈值是否用于神经网络中的 sigmoid 激活函数?
我在这里有点困惑。我刚开始研究神经网络的主题,我构建的第一个使用了 Step-Activation,每个神经元都有阈值。现在我不想实现 sigmoid 激活,但似乎这种类型的激活不使用阈值,只使用神经元之间的权重。但是在我找到的关于这方面的信息中有阈值的词,只是我找不到它们应该在激活函数中的位置。
阈值是否用于神经网络中的 sigmoid 激活函数?
没有像步激活那样的离散跳跃。阈值可以被认为是 sigmoid 函数为 0.5 的点。一些 sigmoid 函数会将其设置为 0,而有些会将其设置为不同的“阈值”。
阶跃函数可以被认为是 sigmoid 函数的一个版本,其陡度设置为无穷大。在这种情况下有一个明显的阈值,对于不太陡峭的 sigmoid 函数,阈值可以被认为是函数值为 0.5 的地方,或最大陡度的点。
Sigmoid function's value is in the range [0;1]
, 0.5
is taken as a threshold, if h(theta) < 0.5
we assume that it's value is 0
, if h(theta) >= 0.5
then it's 1
.
Thresholds are used only on the output layer of the network and it's only when classifying. So, if you're trying to classify between 4 classes, then the output layer has 4 nodes y = [y1,y2,y3,y4]
, you'll use this threshold to assign y[i]
1
or 0
.
它不需要。Sigmoid 曲线本身部分可以作为阈值。