是否有任何预训练的自然语言模型使用具有 [unk]、[pad]、[bos]、[eos]、[sep] 标记的数据进行训练？
我在拥抱脸网页（python 中的转换器模块）中寻找了一些预训练模型，并发现了几个可以使用“gpt2”或“bart”等保护数据进行训练的模块。在查看这些模型的代码（配置文件）时，省略了诸如 [pad]、[sep] 之类的标记（尤其是 [sep]）。
如果可以处理自然语言，任何预训练模型都可以。
是否有任何预训练的自然语言模型使用具有 [unk]、[pad]、[bos]、[eos]、[sep] 标记的数据进行训练？
我在拥抱脸网页（python 中的转换器模块）中寻找了一些预训练模型，并发现了几个可以使用“gpt2”或“bart”等保护数据进行训练的模块。在查看这些模型的代码（配置文件）时，省略了诸如 [pad]、[sep] 之类的标记（尤其是 [sep]）。
如果可以处理自然语言，任何预训练模型都可以。