r - 在不同的准确性/错误指标之间进行转换

Question

我正在尝试比较几个不同测量指标之间的模型准确性。例如，一些引用使用准确性，而其他引用使用错误。那是相当明显的，但是有很多不同的指标，我不完全确定如何比较其中一些而不失去一些单独的指标完整性。或者是否可以比较一些。我的清单是：

错误率 - 平均绝对误差 - 绝对误差 - 对数损失 - 分类准确度 - 均方根误差 - 分类误差 - F 测量 - 曲线下面积 - 平均测试误差 - 误差百分比 - 错误分类误差 - 测试误差 - 平均测试误差

所以我的问题是如何有效地在这些之间进行转换，如果无法直接转换，则以有意义和准确的方式进行比较和排名。

Answer 1

1. 您通常无法转换这些指标。他们测量微妙的不同事物。但线性误差与平方误差不同。

2. 在一个指标上获胜并不意味着在不同的指标上获胜。假设我们想将单变量数据汇总为一个数字。均值最小化平方误差，中值线性误差 - 所以它们有不同的最优解，并且根据你的评估方法，你可能会得到不同的赢家。

3. 不要比较不同的文章。他们将使用不同的预处理、特征、特征选择、归一化、子集、交叉验证的不同分割等。

通常，比较这些数字是行不通的。

您必须自己重新运行他们的实验，使用完全相同的输入和评估。