1

主成分分析

我想知道为什么投影到主成分上的数据具有与主特征向量对应的特征值的方差？

我在教科书中找不到解释。

4

3 回答 3

3

在主成分分析 (PCA) 中，您正在计算原始坐标系的旋转，以使新协方差矩阵的所有非对角元素都变为零（即，新坐标不相关）。特征向量定义新坐标轴的方向，特征值对应于新协方差矩阵的对角元素（沿新轴的方差）。因此，根据定义，特征值定义了沿相应特征向量的方差。

请注意，如果您要将所有原始数据值乘以某个常数（值大于 1），则会产生增加数据方差（和协方差）的效果。如果您随后对修改后的数据执行 PCA，您计算的特征向量将是相同的（您仍然需要相同的旋转来使您的坐标不相关）但特征值会增加，因为沿新坐标轴的数据的方差会增加。

于 2012-08-15T13:13:14.640 回答
2

好问题。请阅读CMU 的 36350 讲义。简而言之，构建 PCA 优化问题的方式导致了拉格朗日约束优化特征问题（第 2-5 页），该问题通过获取样本协方差矩阵的特征向量来解决。

于 2012-08-15T21:59:57.433 回答
1

您在主成分分析中所做的是“对协方差矩阵进行对角化”，并且在对角化协方差的坐标基础中，您可以读取每个分量的方差。

要真正理解它，需要学习作为特征值问题基础的线性代数；诸如“Hermitian 矩阵的特征值在正交变换下是不变的”之类的东西，但是您可以尝试的是：

  1. 生成一些x- 值作为具有方差的零均值高斯sigma_x2
  2. 生成独立y值作为具有方差的零均值高斯sigma_y2<sigma_x2。
  3. 将其可视化为二维数据集 - 请注意，它的构造使得相关矩阵是对角线，并且每个方向上的数据方差 ( x,y) 是协方差矩阵的对应元素。还要注意，这个矩阵的两个特征值是sigma_x2,sigma_x1并且特征向量是[1,0]和[0,1]。
  4. 现在通过简单地旋转整个图片来构建一个相关的数据集。在数学上，选择一个正交矩阵O，并生成每个[x,y]样本的旋转版本。你会发现这个转换后的数据集的相关矩阵有非对角元素，即 和 之间的x相关y。但是如果你做特征值分解，特征向量只是用于首先旋转数据的正交矩阵的列，特征值是原始特征值。

主成分分析，即协方差矩阵的特征值分解，是反向运行这个过程：从相关数据集开始，然后推导出对角化协方差矩阵的坐标基。

了解它可能需要学习正式的数学和一些经验，也许在 2 或 3 维问题上尝试（并将其可视化）将帮助您了解它。

于 2012-08-13T21:36:10.523 回答