我正在研究 LDA(线性判别分析),您可以参考http://www.ccs.neu.edu/home/vip/teach/MLcourse/5_features_dimensions/lecture_notes/LDA/LDA.pdf。
我对半监督 LDA 的想法:我可以使用标记数据 $X\in R^{d\times N}$ 来计算 $S_w$ 和 $S_b$ 中的所有项。现在,我还有未标记的数据 $Y\in R^{d\times M}$,并且这些数据可以额外用于估计 $S_w$ 中的协方差矩阵 $XX^T$ 通过 $\frac{N}{ N+M}(XX^T+YY^T)$ 直观地得到更好的协方差估计。
不同 LDA 的实现:我还为所有比较的方法在 $S_w$ 中添加了一个缩放的单位矩阵,缩放参数应该在不同的方法中调整。我将训练数据分为两部分:标记为 $X\in R^{d\times N}$,未标记为 $Y\in R^{d\times M}$,$N/M$ 的范围从 $0.5$ 到 $0.05$ . 我在三种真实数据集上运行我的半监督 LDA。
分类方法:将$S_w^{-1}S_b$的特征向量作为变换矩阵$\Phi$,则
实验结果: 1)在测试数据中,我在数据$X$&$Y$上训练的半监督LDA的分类准确率总是比只在数据$X$上训练的标准LDA差一点。2)此外,在一个真实数据中,这两种方法的最佳缩放参数可能非常不同,以实现最佳分类精度。
你能告诉我原因并给我建议让我的半监督 LDA 工作吗?我的代码已经过检查。非常感谢。