python - 如何从头开始训练 gpt 2？

Question

我想从头开始训练 gpt 2，但我发现的文章中只有基于预训练模型的微调方法。我已经使用这个https://github.com/nshepperd/gpt-2来训练现有模型。我应该编辑这些 Python 脚本以从头开始训练吗？

Answer 1

我在这个 repo 的“问题”中找到了答案https://github.com/nshepperd/gpt-2

如果您根本不想使用已发布的模型，例如因为您想训练具有不兼容的超参数的模型，则只需跳过从已发布模型检查点（在 train.py:164-177 附近）恢复就足够了你的第一次运行，所以参数都将被随机初始化。