machine-learning - 在机器学习中：对于非分类任务是否有类似的错误分析？

Question

我正在学习使用 Octave 应用机器学习技术。在机器学习中，分类问题试图根据案例的特征对其进行分类。例如，机器学习算法可能会查看 100 个因素来尝试决定一个人是否会拖欠贷款。（即如果该人属于该类将默认输出或该类将不默认输出）。

我了解到“错误分析”（即手动分析错误分类的输出）可以帮助识别机器学习分类问题中的错误。

是否有非分类问题的类比？具体来说，如果机器学习算法试图预测一个值（例如一个人的收入）但结果出错了，是否有类似于错误分析的方法来试图理解算法失败的原因？

Answer 1

绝对地！如果您记录下每个预测与您​​的预测相差多远，您通常可以非常清楚地识别趋势，尽管这种方法通常依赖于可视化数据的巧妙方法。

例如，意识到虽然您的平均误差是 100，但是在您的输入变量之一非常高或非常低（定性）的示例中，您的平均误差会跳到 1000，您可能需要调整以更好地考虑那些高和低价值观。

由于机器学习更多的是艺术而不是科学，因此很难确切地说哪种形式的错误分析对您的特定问题有意义，但一般的解决方案是查看受约束样本集的平均错误趋势（即什么是我的网球比分预测器在室外超过 90 度时的平均误差？）

理论上，您应该选择测试，使状态之间的差异显而易见，并导致明显的变化。例如，如果您不考虑一个变量，您可能想要对您的错误与该变量的值进行扫描，并直观地绘制它以确定它是否看起来很嘈杂，或者是否存在确定是否包含的明确趋势那个变量。

我希望这很清楚，如果您有任何问题或需要澄清，请告诉我。

Answer 2

有许多工具可以分析回归结果（您描述的情况是您尝试基于收入估算的情况）。最常见的是：均方误差和相关性度量，例如Pearson和Spearman。

最后，我强调一下，我只给了你最基本的方法，任何好的统计教科书都应该指导你。