python - 在 AllenNlp 管道中在哪里添加 SentencePiece 标记化？

Question

我是 allennlp 的新手，我在管道中使用句子进行子词标记。

SentencePiece 需要一个训练步骤来生成子词模型，然后可以将其用于标记化。

是实现Vocabulary 类的正确方法。考虑到有用于字符标记化等的 TokenIndexers，它是否是正确的位置有点困惑。