41

我是神经网络的初学者。我正在学习感知器。我的问题是为什么权重向量垂直于决策边界（超平面）？我参考了很多书，但都提到权重向量垂直于决策边界，但没有人说为什么？

谁能给我解释或参考一本书？

4

5 回答 5

47

权重只是定义分离平面的系数。目前，忘掉神经元，只考虑 N 维平面的几何定义：

w1*x1 + w2*x2 + ... + wN*xN - w0 = 0

您也可以将其视为一个点积：

w*x - w0 = 0

其中w和x都是长度为 N 的向量。这个方程适用于平面上的所有点。回想一下，我们可以将上面的方程乘以一个常数，它仍然成立，所以我们可以定义常数，使向量w具有单位长度。现在，拿出一张纸并画出你的坐标x-y轴（在上面的等式中）。接下来，在原点附近的某处画一条线（ 中的平面）。是从原点到平面的垂直距离，是从原点沿该垂线指向的单位矢量。如果现在从原点到平面上的任意点绘制一个向量，该向量与单位向量的点积将始终等于x1x22Dw0www0所以上面的等式成立，对吧？这只是平面的几何定义：一个单位向量定义了平面的垂线 ( ) 和从原点到平面w的距离 ( )。w0

现在我们的神经元只是表示与上述相同的平面，但我们只是对变量的描述略有不同。我们称x“输入”的分量，w“权重”的分量，我们称距离w0为偏差。这里的所有都是它的。

超出您的实际问题，我们并不真正关心飞机上的点。我们真的很想知道一个点落在平面的哪一侧。虽然w*x - w0在平面上正好为零，但平面一侧的点为正值，另一侧的点为负值。这就是神经元的激活功能发挥作用的地方，但这超出了您的实际问题。

于 2012-04-27T19:59:29.833 回答
9

直观地说，在二元问题中，权向量指向“1”类的方向，而“0”类则指向远离权向量的方向。因此，决策边界应垂直于权重向量绘制。

请参阅图像以获取简化示例：您有一个只有 1 个输入的神经网络，因此具有 1 个权重。如果权重为 -1（蓝色向量），则所有负输入都将变为正，因此整个负谱将分配给“1”类，而正谱将是“0”类。因此，2 轴平面中的决策边界是通过原点的垂直线（红线）。简单地说它是垂直于权重向量的线。

让我们用几个值来看看这个例子。如果所有的总和inputs * weights大于 0（默认阈值），则感知器的输出为 1 类，否则如果输出小于 0 的阈值，则该类为 0。您的输入值为 1。权重应用于这个单一的输入是 -1，所以1 * -1 = -1它小于 0。因此输入被分配为 0 类（注意：0 类和 1 类可能刚刚被称为 A 类或 B 类，不要将它们与输入和权重混淆值）。相反，如果输入为-1，input * weight则为-1 * -1 = 1，大于 0，所以输入被分配到类 1。如果你尝试每个输入值，你会看到这个例子中所有的负值都有一个大于 0 的输出，所以它们都属于类 1。所有正值的输出都小于 0，因此将被归类为 0 类。画一条分隔所有正负输入值的线（红线），您会看到这条线垂直于权重向量。

另请注意，权重向量仅用于修改输入以适应所需的输出。没有权重向量会怎样？输入 1 将导致输出 1，大于阈值 0，因此类为“1”。

图片

此页面上的第二张图片显示了一个带有 2 个输入和一个偏差的感知器。第一个输入与我的示例具有相同的权重，而第二个输入的权重为 1。因此，如图所示，相应的权重向量与决策边界一起发生了变化。由于增加了 1 的偏差，决策边界也向右平移。

于 2012-04-17T10:47:55.840 回答
6

这是从更基本的线性代数/微积分的角度来看的观点：

平面的一般方程是 Ax + By + Cz = D（可以扩展到更高维度）。可以从这个方程中提取法向量：[ABC]；它是与平面上所有其他向量正交的向量。

现在如果我们有一个权重向量 [w1 w2 w3]，那么 w^T * x >= 0（得到正分类）和 w^T * x < 0（得到负分类）什么时候做。WLOG，我们也可以做 w^T * x >= d。现在，你知道我要去哪里了吗？

权重向量与第一部分的法线向量相同。正如我们所知，这个法线向量（和一个点）定义了一个平面：这正是决策边界。因此，因为法向量与平面正交，所以权向量也与决策边界正交。

于 2019-12-07T19:36:05.300 回答
4
  1. 从最简单的形式开始，ax + by = 0，权向量为[a, b]，特征向量为[x, y]
  2. 然后y = (-a/b)x是有斜率的决策边界-a/b
  3. 权重向量有斜率b/a
  4. 如果将这两个斜率相乘，结果是-1
  5. 这证明了决策边界垂直于权重向量
于 2020-12-11T10:11:26.233 回答
2

虽然这个问题是2年前提出的，但我想很多学生都会有同样的疑问。我得到了这个答案，因为我问了同样的问题。

现在，想想 X，Y（笛卡尔坐标系是一个坐标系，它通过一对数值坐标唯一地指定平面中的每个点，这些坐标是从该点到两条固定的垂直有向线的有符号距离 [来自维基百科] ）。

如果 Y = 3X，在几何中 Y 垂直于 X，则令 w = 3，然后 Y = wX，w = Y/X 如果我们想画出 X 之间的关系，w 我们将有两条垂直线，就像当我们画出 X、Y 之间的关系。所以总是认为 w 系数垂直于 X 和 Y。

于 2014-02-08T01:16:50.193 回答