5

家庭作业

除了混淆矩阵之外，我还需要其他形式的评估来可视化算法的性能。

4

2 回答 2

3

精度与召回曲线也很好（也在这里）。

如果它类似于回归，许多统计人员建议将其绘制为数据顶部的拟合曲线，或者如果拟合曲线是高维的，则可能是拟合曲线的许多不同的二维投影。还建议对置信区间和事物进行加权，以使它们比绘图的其他部分显示得更暗，根据事物的可能性降低视觉上的权重。这是 Andrew Gelman 最近发表的一篇文章：（链接）

如果您正在制作生成模型，例如计算贝叶斯后验分布，那么后验预测检查是一个不错的选择。如果您要进行回归，请不要低估汇总系数和值的表的R^{2}值。

如果您的数据自然适合某个域的顶部，例如 xy 平面的一部分，或者您有美国每个州的数据等，那么尝试将您的数据覆盖在该域之上总是好的。制作一个显示数据分布的图（例如直方图，但如果它是问题域的某些视觉上有意义的部分之上的密度，通常会更好），然后使用算法的输出复制相同的精确图。从视觉上看，数据分布和算法输出之间的严重差异会引起人们对算法无法正确推理的地方的注意。

这真的是关键。目标是有效的推理，而不是达到相对较少的分类错误等。如果你得到很好的分类错误，但你的方法过度拟合，它可能会出现在其中一些类型的图中。

于 2012-10-24T18:12:01.303 回答
0

如果它是一个二元分类问题并且如果您有一个分类器参数可以改变以获得不同的结果，则一种常见的方法是使用 ROC 曲线 ( http://en.wikipedia.org/wiki/Receiver_operating_characteristic )。如果它不是二元分类问题，您仍然可以为每个标签（类）计算 ROC 曲线

于 2012-10-24T18:27:18.897 回答