python-3.x - 是否有允许我微调和提示文本完成的 GPT-2 实现？

Question

我希望在一些文本数据上微调 GPT-2 实现。然后我想用这个模型来完成一个文本提示。我可以使用 Max Woolf 的gpt-2-simple实现轻松完成第一部分。Neil Shepherd 的OpenAI分支允许 GPT-2 接受新数据的训练并完成文本。

然而，我的语料库太小了，无法训练并且不会得到胡言乱语。有什么办法可以结合这两个功能吗？理想情况下，我希望能够通过 python 接口（而不是 CLI）来执行此操作，因为我想使用 pandas 进行数据清理和你有什么。谢谢。

score 1 · Accepted Answer

Huggingface 的 Transformers包具有用于 PyTorch 和 TensorFlow 的 GPT-2 实现（包括预训练模型）。您可以在 Python 中轻松使用它们。

然而，GPT-2 的微调需要大量内存，我不确定您是否能够对此进行完整的反向传播。在这种情况下，您只需微调几个最高层。

1 回答 1