machine-learning - 迁移学习：标记差异

Question

我只是在观看有关迁移学习的视频（如果您的数据集很小，则在较大的类似数据集上训练模型）。我对不同的数据集标签如何不干扰迁移学习感到困惑。

我知道如果您的目标任务（比如模糊的猫照片）只有少量数据（我们称之为这个Dataset A）但有一个具有相似数据的大型数据集（我们称之为这个Dataset B，专业拍摄的集合），通常会使用迁移学习而不是模糊的狼照片）并且其低级特征可用于学习Dataset A（直觉是相同的边缘和曲线检测/其他有助于检测狼的低级特征Dataset B也有助于检测猫Dataset A）。据我了解，您将首先在 上训练神经网络Dataset B，然后将最后一层的权重设置为随机，并保持所有其他参数不变，然后重新训练Dataset A。但鉴于标签方案Dataset B将是狼的标签，Dataset A而猫的标签，标签上的差异不会引起问题吗？

Answer 1

你的理解在某种程度上是正确的。在重新训练之前，您不必只是将“最后一层的权重设置为随机”。但它更像是对最后一层进行切割，并用另一个新设计的层替换它。

这意味着您的网络可以有不同类型和不同数量的输出，在再训练期间允许不同数量和类型的标签。

注意： Tensorflow 称之为“简单地在顶部训练一个新的分类层”。更多关于这方面的内容和一个很好的掌握这些想法的教程可以在这里找到。