niftynet - Niftynet 如何处理多 GPU 训练

Question

我正在使用 Niftynet 使用 2 个 GPU 训练 CNN。据我了解，每个 GPU 都是独立训练的，因为每次迭代我都会得到两个损失值。两个 GPU 的结果是否在推理时结合在一起？我曾经相信使用多 GPU 可以减少训练时间，但在 Niftynet 中似乎并非如此。

Answer 1

是，对的。它确实减少了我的培训时间。请注意，通过使用多个 GPU，批量大小会增加一倍。

例如，如果您的batch size = 2, 使用多个 gpu 后，则意味着每个 gpu 都将具有batch size = 2. 所以你的最终批量大小将是 4。