neural-network - 具有用于 OR 函数的 sigmoid 神经元的简单非线性边界

Question

我想计算带有输入层和输出层的 sigmoid 神经元的非线性边界。神经元有 2 个输入 x1、x2 和一个偏差。我正在尝试计算这个。

这是怎么做的。对于感知器，如果

         w*x +b >= 0 for negative samples then
         we perform w = w -x[![enter image description here][2]][2]
         and if w*x+b <0 for positive samples then
         w = w + x

直到错误减少到一个较低的值。我正在使用 Octave 进行此计算。

是否有 Sigmoid 神经元的迭代方法。我们如何获得非线性边界？

Answer 1

这个问题有两个部分，一个与绘图有关，一个与网络本身有关。让我们从第二部分开始，您需要了解：

• 一个没有任何激活或带有 sigmoid 的单个神经元是一个线性模型。为了具有非线性，您需要非单调激活（如 rbf）或至少 1 个隐藏层。

• 有些逻辑门是线性的，有些不是。特别是 OR 是线性的（以及 AND），但同时 XOR 不是。证明非常简单（对于 OR 的线性），因为它可以实现为

  cl(x) = x1 + x2 - 0.5
  

  如果你现在取上述等式的符号，你会看到它是 1，当且仅当 x1+x2>0.5 时，很明显，当至少一个为 1 而另一个为 0 时，就会发生这种情况（在其他情况下）。

在决策边界方面。对于线性模型，这是直截了当的，因为可以通过分析确定决策边界，但是，如果一个模型通常具有非线性模型，则这是不可能的。因此，我们所做的是一个近似值，您想在平面上绘制决策边界，对于 x1 e [-T, T] 和 x2 e [-T, T] 所以您所做的 - 您只需从输入中采样非常密集的点空格（如 (-T, -T), (-T+0.01, -T+0.01), ...）并检查分类。你得到一个巨大的 0 和 1 矩阵，你只需绘制这个函数的计数图。