nlp - 多任务学习

Question

任何人都可以用简单直观的方式解释多任务学习吗？可能是一些现实世界的问题会很有用。大多数情况下，这些天我看到很多人将它用于自然语言处理任务。

Answer 1

假设您已经为几个不同的域构建了一个情绪分类器。比如说电影、音乐 DVD 和电子产品。这些很容易为它们构建高质量的分类器，因为您从亚马逊上抓取了大量的训练数据。与每个分类器一起，您还构建了一个相似性检测器，它将告诉您给定的一段文本，它与每个分类器训练过的数据集的相似程度。

现在，您想从未知领域或没有这么好的数据集可以训练的领域中找到一些文本的情绪。好吧，我们如何对我们已经拥有的三个高质量分类器中的分类进行相似性加权组合。如果我们试图对洗碗机评论进行分类（不幸的是，没有庞大的洗碗机评论语料库），它可能与电子产品最相似，因此电子产品分类器将被赋予最大权重。另一方面，如果我们试图对电视节目的评论进行分类，电影分类器可能会做得最好。