0

我训练了一个标记器,如下所示,

tokenizer = ByteLevelBPETokenizer()
tokenizer.train(files=paths, vocab_size=20_000, min_frequency=2,
                special_tokens=["<s>","<pad>","</s>","<unk>","<mask>"])
tokenizer.save_model('bert_a_tokenizer')

然后我尝试加载它:

tokenizer = BertTokenizerFast.from_pretrained("./bert_a_tokenizer", max_len=512)

它失败了,但如果我使用它会起作用:

tokenizer = RobertaTokenizerFast.from_preenter code heretrained("./bert_a_tokenizer", max_len=512)

我不完全理解这里发生了什么。

4

0 回答 0