nlp - 微调 GPT2 的预训练权重

Question

我正在按照以下 repo https://github.com/kingoflolz/mesh-transformer-jax研究 GPTJ-6B 模型

我想应用迁移学习并基于新的小数据集训练最后几层。有没有人在这个 repo 或其他 gpt 模型上应用迁移学习？