tensorflow - Tensorflow 不会将张量/运算分配给所有可用的 GPU

Question

我有两个 GPU，一个 6GB GTX Titan 和一个 11GB GTX 1080Ti。

期望：Tensorflow 应该自动使用所有 GPU 的内存。

现实：Tensorflow 将这两个设备映射为 gpu:0 和 gpu:1，但它只使用 gpu:0 而从不使用 gpu:1，当我增加内存需求时，它会在不使用 gpu:1 的内存的情况下运行 OutOfMemory 异常。

我想要做的是使用两个设备的 11+6=17 GB 内存。我想也许 tensorflow 只支持相同的 GPU 类型，如果它们是不同的类型，它只会使用其中一种？

Answer 1

我认为使用两种不同类型的 GPU 来加速是一种不好的做法，因为 tensorflow 不会将操作放在不同的设备上。我应该在 CPU 上同步参数，并为多个 GPU 上的异步训练分配不同的数据。