bert-language-model - 罗伯塔为不同的任务重新调整微调模型

Question

我有一个用于二进制分类任务的微调 xlm-roberta-base 模型，如下所示：

model = XLMRobertaForSequenceClassification.from_pretrained( "xlm-roberta-base", num_labels=2, )

我想使用 maskedlm 重新训练模型，其中输入和标签都是句子，然后再次训练它以完成二进制分类任务，但我不知道它是否可能以及这样做的语法是什么。现在我无法将我的 XLMRobertaForSequenceClassification 加载到 maskedLM 模型中。

model = RobertaForMaskedLM.from_pretrained("xlm-roberta-base") device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print("device is ", device) model.load_state_dict(torch.load('fine_tuned_model.pt', map_location=torch.device('cpu')))

任何帮助表示赞赏。谢谢