allennlp - 为情绪分类器提供预标记输入

Question

根据这个演示，我在 python 中使用情感分类器。

是否可以将预先标记的文本作为预测器的输入？我希望能够使用我自己的自定义标记器。

Answer 1

有两个 AllenNLP 情感分析模型，它们都与它们的标记化紧密相关。基于 GLoVe 的模型需要与预训练的 GLoVe 嵌入相对应的标记，类似地，RoBERTa 需要与其预训练相对应的标记（单词片段）。将这些模型与不同的标记器一起使用并没有真正意义。