artificial-intelligence - 用 sigmoid 神经元替换感知器网络

Question

在我们介绍 sigmoid 神经元（具有 sigmoid 激活函数的神经元）之前，这个站点给出了一些数学阐述，即关于感知器。 http://neuralnetworksanddeeplearning.com/chap1.html

它从感知器开始，然后到 sigmoid 神经元。一切都很好，但我似乎无法证明本章后面的第二个问题“Sigmoid 神经元模拟感知器，第二部分”。我很难相信您可以用偏差和权重不变的 sigmoid 神经元网络替换感知器网络（在这里可以很容易地构建一个反例：将权重 17、-6、-3 用于第三层和最后一层第四层的神经元，其中 b = -3 和 w = {17, -6} in wx + b >= 0，对于 {1,0,0}（包括偏差 x_0），感知器网络给出 0，而 sigmoid 网络可以给出1）。

谁能帮助我并告诉我我错过了什么或我哪里出错了？谢谢你。

Answer 1

感知器的输出只能是 1 或 0，而当 wx+c=0 时，输出是 1/2，所以当 wx+c=0 时，其中一个感知器会失败

Answer 2

不，你不能，在权重不变的情况下。但是 sigmoid 是二进制阈值单元的连续近似，应该是相似的。该页面说：

现在用 sigmoid 神经元替换网络中的所有感知器，并将权重和偏差乘以一个正常数 c>0。证明在 c→∞ 的极限下，这个 sigmoid 神经元网络的行为与感知器网络完全相同。

这是真的。当您将所有权重乘以较大的值时，sigmoid 单位和阈值单位之间的微小差异会越来越小。非常大的 sigmoid 输入总是产生 0 或 1。