几天前,我完成了一个单词预测程序,该程序在给定数据集上测试 LSTM 和 GRU 模型。我测试了 4 个模型——2 个 LSTM 模型和 2 个 GRU 模型。我在 Google Colab 上编写了程序。
我使用两个验证集来看看它如何影响他们的困惑。我对我得到的结果非常满意。现在,几天后,当我回来运行它时,我发现在第一个 epoch 中,至少有一个验证集随机出现了极大的困惑,而当我这样做时,所有 4 个模型的最后一个。但是,当我在第一个 epoch 之后停止程序并立即再次运行它时,它有时会修复第一个 epoch(以及整个程序)的困惑问题。这可以一次又一次地完成,直到所有 3 个数据集都给出正常结果。
是否有任何 google colab 问题导致这些随机失败?我在问我是否可以无缘无故地阻止挖掘我的代码,因为有时它工作得很好。
谢谢!
编辑:经过多次测试后,我注意到在我重新启动运行时后的第一个时期总是发生以下情况:
- 训练困惑是正常的(一如既往),两个验证集都不是。我停止并再次运行。
- 训练困惑是正常的(一如既往),验证集 1 是正常的,验证集 2 不是。我停止并再次运行。
- 训练困惑是正常的(一如既往),两个验证集都是正常的。我停止并再次运行。
- 与 3 相同。