python - 关于 LSTM 的准确度

Question

我刚刚用 LSTM 建立了一个价格预测模型，RMSE 约为 0.12。价格范围是0到3，是不是说明模型准确？还有其他方法可以衡量 LSTM 的准确性吗？

谢谢！

Answer 1

从这个意义上说，准确性是相当主观的。RMSE 意味着你的 LSTM 平均偏离了 0.12，这比随机猜测要好得多。

通常将准确度与另一种（简单）算法的基线准确度进行比较，以便您可以看到任务是非常简单还是您的 LSTM 非常好。

肯定有其他方法可以测量准确度，但您真的应该考虑平均偏离 0.12 是否对您的任务有好处，或者与其他回归相比是否有好处。

Answer 2

如果你测量MAE而不是 RMSE 会更容易，因为 L1 是一个更“自然的度量”。

如果你想估计你的模型有多好，你需要建立基线。例如，您可以检查错误如何改变您始终预测的平均值，或者您是否始终预测最后一个可用数据点。

也就是说，一旦计算出来，您就可以计算相对指标，例如模型的 MAE 除以这些基准之一的 MAE。这建立在Rob Hyndman的MASE度量的概念之上。我建议你看看它。

Answer 3

测试此性能是否良好的一种“简单”方法是计算幼稚预测的 RMSE。天真的预测是预测上一步的值。因此，如果您的系列具有值 [0, .2, .8, 2.2, 1.1]，那么下一个预测值将是“1.1”。

你的 LSTM 的 RMSE 应该小于你幼稚预测的 RMSE，但即使是更小的 RMSE 也不能保证你的模型是好的。