svd - SVD优化公式

Question

有谁知道什么凸优化公式（目标函数）导致矩阵X（n乘p）的奇异值分解或主成分分析？

Answer 1

对于范数一的 u 和 v，最大奇异值可以计算为 u^TX v 的最大值。

考虑到奇异值是矩阵 X^T X 的特征值的平方根，可以从瑞利商导出另一个公式。在这种情况下，最大奇异值可以看作 ||Xv 的最大值|| 对于 v 单位范数。其余的奇异值可以从min-max 原理推导出来

Answer 2

特征值（奇异值）最大化瑞利商——这就是前几个奇异值的迭代方法的工作原理。此外，对于 rank-r 近似，维基百科SVD引用了 Eckart-Young 定理：
SVD 最小化 |M - Mr| 在 Frobenius 范数中（相当非凸的）秩-r 矩阵集合中的 Mr。
另请参阅pca-lda-cca-and-pls下的表格。