gpt-2 - 加速 GPT-2 simple 的文本生成

Question

您好我正在尝试使用 GPT-2 simple 生成 20 个令牌文本。生成句子大约需要 15 秒。AI Dungeon 大约需要 4 秒来生成相同大小的句子。有没有办法加快 GPT-2 文本生成？

Answer 1

我认为他们的结果更快，因为他们的程序得到了更好的优化，并且他们的计算能力更强。他们为服务器付出了很多。同样，Ai Dungeon 使用 GPT-3，它可能会更快。我也在为 GPT-2 的速度而苦苦挣扎。让我知道你是否想到了什么。干杯