tensorflow - 结合 2 个不同的 GPU 卡进行小型批处理

Question

我刚买了一台 GTX 1080Ti，我想知道我是否可以同时使用我的旧 GTX 1070 和 GTX 1080Ti 来使用 TensorFlow 或 PyTorch 进行小型批处理。

我主要担心的是：

GTX 1070 会成为 GTX 1080Ti 的瓶颈，还是每张卡的功率都将发挥到最大？

我知道在 SLI 配置中，总 VRAM 的数量将等于数量最少的卡（这里的 GTX 1070 具有 8GB 或 VRAM）但是在不涉及 SLI 的 tensorflow/pytorch 训练期间会发生同样的事情吗？

Answer 1

1. 您不能为深度学习运行 SLI。
2. 您受到 PCIe 互连的瓶颈。如果您没有同时使用两条 x16 线，那么一条会慢一些。
3. 我不确定如果出现电源问题会发生什么。
4. 我可以并行运行 GTX 1060 和 GTX 970 进行小批量处理。