python - 在本地 gpu 和 colab gpu 上进行分布式训练

Question

我想微调 ALBERT。

我看到可以使用 tensorflow 在多个 GPU 上分配神经网络训练：https ://www.tensorflow.org/guide/distributed_training

我想知道是否可以在我的笔记本电脑的 gpu 和 colab gpu 之间分配微调？

Answer 1

我不认为这是可能的。因为为了进行 GPU 分布式训练，您的 GPU 之间需要 NVLink。您的笔记本电脑的 GPU 和 Colab GPU 之间没有这种联系。这是一个很好的阅读https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/