2

我是计算机视觉领域的新手，所以如果这个问题有任何不恰当之处，我深表歉意。

我已经使用 PascalVOC 2012 数据集创建了一个分割模型，到目前为止，我只能在 train 和 val 数据集上对其进行测试。现在我想使用测试集测试我的模型，但是，它没有提供任何注释，所以我不确定我可以做些什么来衡量我的模型在测试数据上的性能。

我注意到其他数据集，例如 COCO，没有为测试数据提供注释。

我很好奇那些发表过关于在这些数据集上训练的模型的论文的研究人员是如何在这种情况下对测试数据进行测试的，以及我能做些什么来做同样的事情。

在此先感谢您的帮助！

4

1 回答 1

2

许多主要数据集不发布测试集的主要原因是避免人们由于过度拟合而报告不可靠的结果。

对于模型选择和“非正式”评估，您应该将训练集拆分为训练集和验证集，并在仅对第一个进行训练时对后者进行评估。

那么研究人员如何在论文中报告测试集的结果呢？

一旦您有了想要评估的最终模型，您就可以将结果上传到评估服务器；通过这种方式，您可以在无需显式访问测试集的情况下对自己的最新技术进行基准测试。

例子：

附带说明：VOC2012 已经很老了，所以如果你真的需要它，也许你也可以找到测试集。例如，看看Joseph Redmon 的这面镜子。

于 2019-11-26T09:32:42.660 回答