我试图模仿一项包括机器学习的研究。因为研究人员在使用分类中的高斯分类器之前同时使用了特征选择和特征缩减。
我的问题如下：假设我有 3 节课。我从总共（比如说）10 个特征中选择（比如说）每个类别的前 3 个最佳特征。选择的特征例如如下：
Class 1: F1 F2 F9
Class 2: F3 F4 F9
Class 3: F1 F5 F10
由于主成分分析或线性判别分析都适用于所有类具有相同特征的完整数据集或至少数据集，我如何在这样的集合上执行特征缩减然后执行训练？
这是论文的链接：说话人依赖的视听情感识别
以下是论文的摘录：
使用 Bhattacharyya 距离作为标准函数的 Plus l-Take Away r 算法选择了前 40 个视觉特征。然后将 PCA 和 LDA 应用于选定的特征集，最后使用单分量高斯分类器进行分类。
在链接的论文中，为所有类开发了一组特征。Bhattacharyya 距离是衡量两个高斯分布的可分性的有界距离度量。这篇文章似乎没有具体描述如何使用 Bhattacharyya 距离（类间距离矩阵的平均值？）。但是，一旦您有了基于 Bhattacharyya 的指标，您就可以通过几种方法来选择您的特征。您可以从一组空的特性开始，然后逐步向集合中添加特性（基于类与新特性的可分离程度）。或者，您可以从所有特征开始，逐步丢弃可分离性最低的特征。Plus l-Take Away r 算法结合了这两种方法。
一旦选择了原始特征的子集，特征缩减步骤通过对原始特征进行一些变换来降低维度。正如你所引用的，作者同时使用了 PCA 和 LDA。两者之间的重要区别在于 PCA 独立于训练类标签，并且为了降低维度，您必须选择要保留多少方差。而 LDA 试图最大化类的可分离性（通过最大化类间协方差与类内协方差的比率），并提供比类数少一的特征数量。
但这里重要的一点是，在特征选择和缩减之后，所有类都使用同一组特征。