nlp - 如何微调 BERT Base（未封装模型）以生成嵌入？

Question

在互联网上，我发现的只是分类任务的示例。但是，在我的问题中没有标签。（我只有一组推文）。我的任务如下：使用 BERT 生成词嵌入，现在在下一个任务中使用这个词嵌入。我的目标：我想微调 BERT 以产生更好的词嵌入。怎么做？

Answer 1

您会看到 BERT 的所有分类示例，因为它基本上是一个文本分类模型。但是，Huggingface 提供了一个BertGeneration接口，您可以使用它来将 BERT 部署为序列生成模型。

如果你能做到这一点，那么接下来你可以尝试将 BERT 微调为自动编码器（通过使用与输入和输出相同的文本），由于屏蔽，它不会是严格意义上的自动编码器，但它应该可以解决你的目的。最后，您可以（完全或选择性地）使用编码器部分来训练您的下游任务。