machine-learning - 具有不同 GPU 的变形金刚的多 GPU 训练

Question

我想使用 Huggingface 的变形金刚微调 GPT-2 模型。最好是中型，但如果可能的话，大一点。目前，我有一个 RTX 2080 Ti 和 11GB 内存，我可以很好地训练这个小模型。

我的问题是：如果我将旧的 Tesla K80 (24GB) 添加到我的机器并分发培训，我会遇到任何问题吗？我找不到有关在训练期间使用不同容量 GPU 的信息以及我可能遇到的问题。

我的模型大小限制基本上是所有可用 GPU 内存的总和吗？（35GB？）

我对在 AWS 中执行此操作不感兴趣。