machine-learning - 为什么 Weka 的 Experimenter 没有显示所有 10 折的结果？

Question

我正在使用 Weka 对一组数据运行决策树分类器。我正在使用 10 折交叉验证，我想知道十折中每一个的准确度。在 Explorer 上的分类下，我可以得到一个很长的测试数据预测列表。这意味着我必须手动将所有 + 相加。

这将需要很长时间，尤其是在有大量数据的情况下。同样也很容易出错。

在 Experimenter 下，我可以在相同的数据上设置一个 10 倍交叉验证分类器（重复 1 次）。我可以将“行”设置为“折叠”，然后当我转到“列”并将其设置为“数字不正确”时，它只显示十个折叠中的 6 个。

那么我如何获得所有 10 折的正确数字，为什么要这样做呢？

score 2 · Accepted Answer

在分析选项卡中，您应该选择：

1）行：折叠

2）列：您必须选择运行、折叠和您想要的结果。

如果您省略第二部分中的选项之一，您将只能看到部分信息。

score 0 · Accepted Answer

据我了解，Weka 这样做的方式是，在 K 折交叉验证 (CV) 中，单折的单个准确度没有那么有意义。K-fold CV 的整个想法是将数据简单地拆分为 K 个子集，然后依次省略每个折叠以进行验证。然后将验证误差计算为K 倍的平均值，这是对我们学习算法误差的无偏估计。

2 回答 2