libsvm - 如何理解 LIBLINEAR 中的偏差参数？

Question

我不明白LIBLINEAR API 中bias 参数的含义。为什么用户在培训期间指定？不应该只是从分离超平面到作为学习模型参数的原点的距离吗？

这是来自自述文件：

struct problem
{
    int l, n;
    int *y;
    struct feature_node **x;
    double bias;
};

如果偏差 >= 0，我们假设在每个数据实例的末尾添加一个附加特征。

这个附加功能是什么？

Answer 1

让我们看一下分离超平面的方程：

w_1 * x_1  + w_2 * x_2  + w_3 * x_3 + ... + w_bias * x_bias = 0

其中 x 是特征值，w 是训练的“权重”。附加特征 x_bias 是一个常数，其值等于偏差。如果bias = 0，您将得到一个通过原点 (0,0,0,...) 的分离超平面。你可以想象很多情况，这样的超平面并不是最佳的分离器。

偏差的值通过 w_bias 的缩放影响边距。因此偏差是一个调优参数，通常通过与其他参数类似的交叉验证来确定。