2

根据 HuggingFace Transformer 的网站(https://huggingface.co/transformers/model_doc/gpt2.html#gpt2doubleheadsmodel),GPT2DoubleHeadsModel(不是GPT2LMHeadModel而是GPT2DoubleHeadsModel)是具有语言建模和多项选择分类的 GPT-2 转换器模型领先于例如 RocStories/SWAG 任务。

这是否意味着我们可以使用GPT2DoubleHeadsModel来处理非基于多项选择的语言建模任务(即下一个单词预测)以及多项选择问题,而无需对其头部进行任何调整?或者如果我想做非基于多项选择的下一个单词预测,我是否需要调整 GPT2DoubleHeadsModel 的头部,因为GPT2DoubleHeadsModel仅用于回答多项选择类型的问题?

我对此有点困惑,因为我从阅读您的 GPT-2 论文中得到的印象是 GPT-2 使用语言建模过程来处理每种类型的语言任务(因此 GPT-2 将只有常规语言建模负责人顶部),但名称“ GPT2DoubleHeadsModel ”似乎表明我需要针对不同类型的语言任务调整此 GPT-2 的头部。

谢谢,

4

0 回答 0