pca - 总散射矩阵的主成分分析和行列式

Question

大家好，我正在阅读一篇论文 Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection，我想知道为什么在 PCA 中选择投影 W 以最大化投影样本的总散射矩阵的行列式，即 arg max |W^T S_T W|(以乳胶形式) 其中 S_T 是原始数据集的散布矩阵。非常感谢！

Answer 1

如果我们注意到矩阵的特征值可以使用特征方程从行列式中找到，则该表达式是有意义的。

（PCA 快速回顾）

您可能已经知道，由于我们正在执行 的主成分分析 (PCA) S_T，我们的目标是找到一个对角矩阵 B，使得

B = W^(T) * S_T * W

W^(T)是W的转置。对角矩阵B的元素是特征值，W的列向量是特征向量。这为我们提供了我们寻求的主成分。

回到特征方程：

矩阵的行列式可用于从特征方程中找到其特征值。直接引用维基百科：

（其中 I 是单位矩阵）。由于 v 不为零，这意味着矩阵 I - A 是奇异的，这反过来意味着它的行列式是 0（不可逆）。因此，函数的根是det( I − A)A 的特征值...

http://en.wikipedia.org/wiki/Characteristic_polynomial

因此，通过最大化行列式或找到它的根，您可以找到特征值。

阅读更多：

http://en.wikipedia.org/wiki/Determinant#Relation_to_eigenvalues_and_trace http://en.wikipedia.org/wiki/Eigenvalues_and_eigenvectors