nlp - 是否有用于子词标记器（如句​​子或单词）的预训练嵌入？

Question

因此，我一直在尝试找出一种方法来为诸如sentencepieceor的子词标记器获取预训练的嵌入，wordpiece但没有成功。是否存在针对这些的预训练嵌入？是否有可以获取语料库并为任何给定句子生成子词嵌入的库。

我有这样一个猜想，对于我的任务，使用子词标记器会比传统的标记器工作得更好，但我无法理解如何将子词标记转换为嵌入。我不想使用传统的 BERT 架构，因为它体积庞大，因此正在寻找替代方案。