我有一组从受试者执行某些特定认知任务时记录的数据集。数据由 16 个通道和每个通道的多个样本点组成,我想根据正在执行的认知任务对这些数据进行分类(所有内容都已标记)。
问题是我没有大量数据(每个会话大约 60 次试验,每个认知任务 30 次)并且我有 2 个会话。我正在尝试训练一个线性判别分析(LDA)分类器来分类这些数据。分类器稍后将被实时使用,为每个样本数量提供某种形式的输出。
我使用 5 折交叉验证来测量我的分类器的泛化误差。问题是当我多次运行这个 5 折交叉验证时,我得到的结果根本不是恒定的。相反,整体准确度存在显着差异(例如,前 5 次交叉验证可能产生 80% 的平均准确度,第二次产生 65% 的准确度,第三次产生平均 72% 等......)。这是正常的吗?如果不是,可能是什么原因?