dataset - 在主题独立的 10 倍交叉验证中训练、验证和测试中的数据拆分？

Question

我正在做情绪分析。该领域的最新论文执行独立于主题的 k 折交叉验证。但我还没有看到任何使用验证集的论文。他们只提到训练集和测试集。例如，在 10 次交叉验证中，整个数据集分为 10 个主题独立集（sub1 将只出现在一个集中而不出现在另一个集中）。如果我们只在训练和测试中划分数据集，那么超参数将如何调整。由于我的 val 准确度在变化（1%-4%），而训练准确度达到 99.99%，最终准确度是多少。

Answer 1

交叉验证是创建验证集并针对它进行训练的过程。您可以通过在交叉验证期间监控验证指标来调整超参数。如果你的验证准确率在 1-4% 之间，而你的训练准确率接近完美，那么你的模型过度拟合（很多）。有很多方法可以对抗过度拟合，但其中很多都是特定于模型的，所以我d 需要更多信息才能提供进一步帮助。