machine-learning - Spacy-Transformers：访问 GPT-2？

Question

我正在使用 Spacy-Transformers 构建一些 NLP 模型。

Spacy -Transformers 文档说：

空间变压器

用于预训练的 BERT、XLNet 和 GPT-2 的 spaCy 管道

该页面上的示例代码显示：

import spacy

nlp = spacy.load("en_core_web_trf")
doc = nlp("Apple shares rose on the news. Apple pie is delicious.")

根据我从这个视频中学到的知识，“en_core_web_trf”似乎是spacy.load()使用 BERT 模型的包。我搜索了Spacy-Transformers 文档，但还没有看到等效的包来访问 GPT-2。spacy.load()为了使用 GPT-2 模型，是否有特定的包要加载？

Answer 1

使用en_core_web_trf特定的 Transformers 模型，但您可以TransformerModel使用spacy-transformers. 请参阅文档。一个示例配置：

[model]
@architectures = "spacy-transformers.TransformerModel.v1"
name = "roberta-base" # this can be the name of any hub model
tokenizer_config = {"use_fast": true}