我不明白这是否MirroredStrategy对训练结果有任何影响。
我的意思是：在单个设备上训练的模型是否与在多个设备上训练的模型相同？
我认为它应该是同一个模型，因为它只是梯度的分布式计算，不是吗？
问问题
88 次
1 回答
1
是的，在单个 GPU 和多个 GPU（在单个机器上）上训练的模型是相同的。也就是说，模型中的变量会根据文档在所有 GPU 上进行复制和同步。
于 2020-04-06T15:41:43.843 回答