0

我正在尝试在分布式张量流中开发逻辑回归,并且我想在我的算法中集成一个收敛检查,而不是迭代的上限。我将要使用的收敛标准是

||prevW - currW|| < E

其中 prevW 是模型权重的先前值, currW 是当前权重值。E 是收敛容差。

我的问题是关于以前的模型重量。由于我在图复制和异步训练之间使用,我不知道集群的工作人员何时会更新权重。因此,假设一个工作人员已经使用批处理计算了新的权重,并且想要检查算法是否已经收敛以便停止。我将使用本地副本中可用的权重(因此使用相应的张量)还是在继续当前计算之前评估张量以获得最后更新的值?我尝试按照上述方法进行操作,但算法在达到迭代上限后没有收敛并停止。

预先感谢您的帮助:D

4

1 回答 1

0

我会在变量所在的同一设备中进行收敛检查。这样您就可以避免通过网络复制太多内容。这可以通过将它放在一个with tf.device(variable.device):块中来完成。

于 2017-05-03T22:04:59.580 回答