4

这是代码：

import numpy as np

# sigmoid function
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))

# input dataset
X = np.array([  [0,0,1],
                [0,1,1],
                [1,0,1],
                [1,1,1] ])

# output dataset            
y = np.array([[0,0,1,1]]).T

# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)

# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1

for iter in xrange(10000):

    # forward propagation
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))

    # how much did we miss?
    l1_error = y - l1

    # multiply how much we missed by the 
    # slope of the sigmoid at the values in l1
    l1_delta = l1_error * nonlin(l1,True)

    # update weights
    syn0 += np.dot(l0.T,l1_delta)

print "Output After Training:"
print l1

这是网站：http: //iamtrask.github.io/2015/07/12/basic-python-network/

代码的第 36 行，l1 error乘以带有权重的输入的导数。我不知道为什么会这样做，并且一直在花费数小时试图弄清楚。我刚刚得出的结论是这是错误的，但是考虑到有多少人推荐并使用本教程作为学习神经网络的起点，有些事情告诉我这可能是不正确的。

在文章中，他们说

再看一下sigmoid图片！如果斜率真的很浅（接近 0），那么网络要么具有非常高的值，要么具有非常低的值。这意味着该网络以一种或另一种方式非常自信。但是，如果网络猜到了接近 (x=0, y=0.5) 的东西，那么它就不是很自信。

我似乎无法理解为什么 sigmoid 函数的输入的高低与置信度有任何关系。当然，它有多高并不重要，因为如果预测的输出很低，那么它将真的很不自信，不像他们所说的那样应该有信心，因为它很高。

l1_error如果您想强调错误，肯定会更好吗？

考虑到到那时我终于找到了一种很有前途的方法来真正直观地开始学习神经网络，这真是令人失望，但我又错了。如果您有一个开始学习的好地方，我可以很容易地理解，那将不胜感激。

4

2 回答 2

7

看看这张图片。如果 sigmoid 函数为您提供 HIGH 或 LOW 值（相当好的置信度），则该值的导数为 LOW。如果您在最陡斜率 (0.5) 处获得一个值，则该值的导数为 HIGH。

当函数给我们一个不好的预测时，我们想改变我们的权重更大的数字，相反，如果预测是好的（高置信度），我们不想改变我们的权重。

Sigmoid 函数和导数

于 2018-04-17T05:05:27.190 回答
4

首先，这行是正确的：

l1_delta = l1_error * nonlin(l1, True)

下一层的总误差l1_error乘以当前层的导数（这里我认为 sigmoid 是一个单独的层以简化反向传播流）。这叫做链式法则。

关于“网络置信度”的引用可能确实让新手学习者感到困惑。他们在这里的意思是对 sigmoid 函数的概率解释。Sigmoid（或一般的softmax）通常是分类问题的最后一层：sigmoid 输出一个介于 之间的值[0, 1]，可以看作是0类或1类的概率或置信度。

在这种解释中，第0sigmoid=0.001类的置信度高，对应于网络的小梯度和小的更新，是第1类的高置信度和任何类的低置信度。sigmoid=0.999sigmoid=0.499

请注意，在您的示例中，sigmoid是最后一层，因此您可以将此网络视为进行二进制分类，因此上述解释是有道理的。

如果你考虑隐藏层中的 sigmoid 激活，置信度解释就更成问题了（尽管有人可能会问，一个特定的神经元有多自信）。但是错误传播公式仍然成立，因为链式法则成立。

l1_error如果您想强调错误，肯定会更好吗？

这是一个重要的注意事项。过去几年神经​​网络的巨大成功至少部分是由于在隐藏层中使用了ReLu 而不是 sigmoid，这正是因为最好不要使梯度饱和。这被称为梯度消失问题。因此，相反，您通常不想强调反向传播中的错误。

于 2017-10-05T11:28:05.460 回答