nlp - 可以为标记器和模型使用不同的变压器模型吗？

Question

我可以将 roberta 用于标记器，而将 bert 用于模型吗？

from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained("./bert_tokenizer", max_len=512)

from transformers import BertForMaskedLM
config = BertConfig()
bert= BertForMaskedLM(config)

Answer 1

您不能将 RoBERTa 分词器用于 BERT 模型。原因是 BERT 和 RoBERTa 的词汇不同。因此，出现在 RoBERTa 的词汇表中的 word-piece 标记可能不会出现在 BERT 的词汇表中。