8

我手头有一个分类问题，我想用机器学习算法来解决（贝叶斯或马尔科夫可能，这个问题独立于要使用的分类器）。给定一些训练实例，我正在寻找一种方法来衡量已实施分类器的性能，同时考虑数据过度拟合问题。

也就是说：给定 N[1..100] 个训练样本，如果我对每个样本运行训练算法，并使用这些相同的样本来测量适应度，它可能会陷入数据过度拟合问题——分类器会知道训练实例的确切答案，没有太多的预测能力，使得适应度结果毫无用处。

一个明显的解决方案是将手工标记的样本分成训练样本和测试样本；我想了解选择具有统计意义的样本进行训练的方法。

非常感谢白皮书、书籍指南和 PDF！

4

2 回答 2

14

您可以为此使用10 倍交叉验证。我相信这是分类算法性能评估的标准方法。

基本思想是将您的学习样本分成 10 个子集。然后将一个子集用于测试数据，将其他子集用于训练数据。对每个子集重复此操作，并在最后计算平均性能。

于 2009-01-02T11:29:41.170 回答
2

正如布朗斯通先生所说，10 倍交叉验证可能是最好的方法。我最近不得不评估许多不同分类器的性能，为此我使用了Weka。它具有 API 和大量工具，可让您轻松测试许多不同分类器的性能。

于 2009-01-02T11:44:11.627 回答