1

我有一个已经在一些数据集上训练过的神经网络。假设数据集最初有 10k 个数据点,现在又添加了 100 个数据点。我的神经网络有没有办法在不从头开始训练的情况下学习整个(更新的)数据集?此外,灾难性干扰是否适用于此?我知道当 NN 试图学习“新信息”时,灾难性干扰是适用的,但我不确定“更新(由于插入)信息”是否算作“新信息”。

4

2 回答 2

1

事实上,不幸的是,灾难性干扰(或遗忘)适用于您的情况。但是深度学习有一个分支专注于这个问题,称为持续学习

于 2019-11-29T07:11:44.387 回答
1

在线学习是指适应增量可用/持续输入数据流的模型。

灾难性干扰确实是一个问题,具体取决于您的模型、数据和问题。

如果您假设:

  1. 您的新数据 D2 是 iid,从与原始数据集 D1 相同的分布中采样
  2. 您的原始模型是使用数据集的“小批量”训练的
  3. D2 的大小 >= 使用的 minibatch 的大小

您可以将 D2 拆分为新的 mini-batch,然后从上次中断的地方继续训练。

但如果不是这种情况,它确实很可能容易受到灾难性遗忘的影响,因为任务名义上是相同的,但领域(数据的基础分布)正在发生变化。在这种情况下,如果对整个(更新的)数据集进行重新训练不可行,您将需要研究专门用于缓解这种情况的持续学习方法。

于 2020-11-02T17:26:43.453 回答