python - 你可以在 simpletransformers 包中使用 longformer 吗？

Question

我想运行一个 longformer 模型来使用该simpletransformers包为一组文档生成嵌入。

我尝试使用"longformer"for model_typeand model_name，但收到错误消息。

有人知道我应该在 simpletransformers 包中使用 longformer 的模型类型和模型名称吗？

from simpletransformers.language_representation import RepresentationModel
sentences = list(X['content'])
model = RepresentationModel(
        model_type="bert",
        model_name="bert-base-uncased",
        use_cuda=True
    )
sentence_vectors = model.encode_sentences(sentences, combine_strategy="mean")