我一直在阅读一些关于迁移学习的论文和博客文章。我意识到有些人说“不同”，有些人说“不同但相似”。现在，我很困惑。
比如说，
D是域。T是任务。
a是源，因此源域是Da，源任务是Ta。
a'与 a 不同但相似。
b不同于a。
Ms是从Da和学习的源模型Ta。
Mt是目标模型。
在哪个目标域-任务组合中，Ms 可以将其知识转移到 Mt 中？
1. (Da, Tb)
2. (Db, Ta)
3. (Da', Tb)
4. (Db, Ta')
5. (Da', Ta)
6. (Da, Ta')
7. (Da', Ta')
8. (Db, Tb)
老实说，我知道 5、6、7 是可能的，因为论文是这么说的。我怀疑 8 会起作用（不是吗？）。
但是域或任务为 b 的 1、2、3、4 呢？
这取决于源域和目标域的不同程度。如果源域和目标域没有相似之处，则无法通过对任务域进行预训练来改进目标域中任务的模型。但是，如果任何图像域与几乎任何其他图像域有相似之处，并且您的源域数据集很大，那么将您的模型从源域转移到目标域可能有助于规范您的模型并提高目标域的泛化能力。特别是如果目标域数据集很小。
在深度学习中，您希望重新初始化（从随机权重重新训练）更多层（自上而下）并根据源和目标域以及源和目标任务的差异进行更多微调。
在自然语言处理（NLP）领域，有很多关于领域适应的研究，你可以在你描述的关于 NLP 所谓的“不同领域”的所有情况（#1-#8）中获得一些好处——例如新闻专线文本与推文文本与临床放射学报告文本；是的，即使在#8。
但是，您可以拥有更多不同的“域”（恕我直言，实际上不会称为域）-例如，英文文本与中文文本；或英文文本与英文录音。即使在这些情况下也可以进行一些迁移学习，但要有限得多；所以这真的取决于你在“这是一个不同的域”与“这是一个完全不同类型的输入数据”之间划清界限的地方。