tensorflow - 一台设备的批量大小的最佳选择是什么（在 TF 中使用镜像策略）？

Question

问题： 假设您有 4 个 GPU（每个有 2GB 内存）来训练您的深度学习模型。您的数据集中有 1000 个数据点，需要大约 10 GB 的存储空间。一台设备的批量大小的最佳选择是什么（在 TF 中使用镜像策略）？

有人可以帮我解决这个分配问题吗？提前致谢。

Answer 1

每个 GPU 有 2GB 的内存，并且有 4 个 GPU，这意味着您总共有 8 GB 的内存可供使用。现在您不能一次将 10 GB 的数据分成 8 GB，因此您将 10 GB 分成两半，并且总体批量大小为 500 个数据点（或者更确切地说是 512，更接近 2 的幂）

现在，您将这 500 个数据点分布在 4 个 GPU 上，每个设备的批量大小约为 128 个数据点。

所以整体批量大小为 512 个数据点，每个 GPU 批量大小为 128。