matlab - matlab中ridge和A\b的区别

Question

给定相同A的b和 L2 正则化参数beta = 0，为什么要ridge给出\两个不同的解决方案？

b = [ 0
    -2
    -3
    -3
    -3
    -3
    -3
    -3
    -3
    -3
    -3
    -3
    -3 ];

A = [
1   0   0   0
0.750000000000000   0.250000000000000   0   0
0.500000000000000   0.500000000000000   0   0
0.250000000000000   0.750000000000000   0   0
0   1   0   0
0   0.750000000000000   0.250000000000000   0
0   0.500000000000000   0.500000000000000   0
0   0.250000000000000   0.750000000000000   0
0   0   1   0
0   0   0.750000000000000   0.250000000000000
0   0   0.500000000000000   0.500000000000000
0   0   0.250000000000000   0.750000000000000
0   0   0   1
];

>> ridge(b, A, 0,0)
ans = 
    0.6942
   -0.1856
         0
   -0.0468

>> A \ b
ans = 
   -0.8604
   -3.4188
   -2.8970
   -3.0343

Answer 1

这是因为，正如您在文档中看到的那样，ridge它使用的算法与mldivide: 因为“经典”伪逆（(A' * A)^-1 * A ）可能对(A' * A)的小错误敏感^-1接近奇异值，公式修改为(A' * A - kI)^-1 * A，减少问题的条件反射。