假设我们在 R^p 中有一个数据向量z ，在 R^(p*N) 中有一个训练数据矩阵X，其中 N (N>p) 是训练数据矩阵中的样本数。
如果我们想找到z到由X的列跨越的线性子空间的投影，那么我们可以解决以下无约束问题
分钟 || z - X b ||^2。
b的最小二乘估计是 ( X X ')^-1 X z。因此z到子空间的投影可以写成X ( X X ')^-1 X z = P z。P = X ( X X ')^-1 X是满足P ' = P和P ^2 = P的投影矩阵。
如果我们给b添加非负约束，那么上面的优化问题就变成了
分钟 || z - X b ||^2, st b中的每个元素都是非负的。
拉格朗日是 || z - X b ||^2 - v ^T b，其中v是 N 维向量。将拉格朗日 wrt b的一阶导数设置为零，我们找到 b 的估计值：( X X ' )^-1 ( X ' z + 1/2 v )。因此z到子空间的投影是X ( X X ')^-1 ( X ' z + 1/2 v )。
我现在的问题可以描述如下。
是否有任何方法可以使用P z近似投影X ( X X ')^-1 ( X ' z + 1/2 v ) ，其中P是满足P ' = P和P ^2 = P的投影矩阵？我怎样才能估计这样的 P？
提前致谢！