我有一个决策边界（例如）：
5 x1 + x2 - 3 = 0
权重向量为[5 1]。要确定该平面中的某个点是位于边界的正侧还是负侧，我们可以将该点代入方程中并检查它是否为正。但是是否可以从数学上证明，如果决策平面通过原点，那么权向量总是指向正侧？
我搜索了几个站点并找到了一个（http://www.cs.utah.edu/~piyush/teaching/8-9-print.pdf），据说权重向量总是指向积极的一面，但是没有找到数学证明。
有人可以帮忙吗？
问问题
413 次
2 回答
1
迟到了，但也许可以帮助别人。确实，您会发现许多消息来源说它“必须”是积极的一面，但它们从未真正说明原因。为了证明这一点，必须有一些约束，而不是任意向量空间中的任意超平面。我敢肯定，因为您在谈论决策边界，所以您处于参数空间的上下文中，例如感知器或类似的东西。参数空间是唯一的，因为超平面总是经过原点。为什么？因为偏置项本身就是参数空间中的一个维度。它不再是一个恒定的偏移量。在参数空间中，我们有一个独特的超平面构造。超平面维度的系数是向量 x 中的特征，包括偏置维度。
w*x + w0 = 0
我想举一个二维的例子来说明一个概念，然后快速跳回到任意维度更一般。对于二维示例，您将拥有 w0 与 w1。
假设你有两个特征：
x1 = 2
x2 = -1
如果要在参数空间中绘制这些特征，则将它们构造为 [x 1]，结果为：
x1 -> [2 1]
x2 -> [-1 1]
这将导致参数空间（权重空间）中的超平面为：
x1 -> (2)w1 + (1)w0 = 0
x2 -> (-1)w1 + (1)w0 = 0
在我们的二维示例中，我们将 w0 和 w1 视为我们的传统 y 与 x 并求解“y”。
现在，您可以看到其中一条线的参数向量（权重向量）点
可以看到，超平面的正面和负面都被标记了。所以想想是什么造就了积极和消极的一面。嗯，这是关于 w0 的。如果 w0 的值大于超平面上 w0 的值（反之为负），我们就说它是超平面的正面。现在，要理解的另一个关键点是所有参数点都必须经过 w0=1 这条线。这可以在下面看到：
现在，我们做一个直观的陈述，因为我们知道正面或负面取决于 w0。将 x 视为任意大小的特征向量。“如果参数向量 x 的 w0 的值大于在 x 位置评估的超平面上的 w0 的值，那么我们就在超平面的正侧。” 请记住，位置 x 处的 w0 始终为 1。那么，w0 在超平面上的值是多少？
w x + w0 = 0 -> w0 = -w x
超平面上 w0 的值为 -w*x。现在，如果我们想在向量 x 处计算超平面上 w0 的值，我们有
w0 = -x*x
-x*x = -<x, x> = -||x||^2
我们知道内积，等价的范数平方必须是正数或零。因此，负数乘以该值必须是负数或零。因此，当在位置 x 的超平面上进行评估时，w0 <= 0。请记住，在同一个位置 x，而不是在超平面上，参数向量告诉我们 w0 = 1。由于 1 总是大于负数或零，所以 w0 的参数向量位置总是高于关于w0。这个证明被限制在通过原点的决策边界上，但保证决策边界通过参数空间中的原点。
于 2021-02-25T05:39:42.103 回答
0
我不熟悉这些术语，但听起来你只是在问，如果你有一个形式为 ax + by = 0 的方程，是否为 [xy] 插入 [ab] 是否总是给出一个正数？当然，因为 aa + bb 只是实数平方的总和，而实数平方总是给出非负数。如果您的系数 a, b 必须为非零，则至少有一个，否则您并没有真正定义边界。
编辑：由 ax + by + c = 0 形式的方程定义的“边界”当且仅当 c = 0 时才通过原点（只需插入 x = y = 0 即可查看为什么会这样），其中这就是为什么我只考虑 ax + by = 0 形式的方程，而不是 ax + by + c = 0。OP 提到的例子有 c = -3。
于 2013-01-25T02:08:29.170 回答