我正在尝试在分布式张量流中开发逻辑回归,并且我想在我的算法中集成一个收敛检查,而不是迭代的上限。我将要使用的收敛标准是
||prevW - currW|| < E
其中 prevW 是模型权重的先前值, currW 是当前权重值。E 是收敛容差。
我的问题是关于以前的模型重量。由于我在图复制和异步训练之间使用,我不知道集群的工作人员何时会更新权重。因此,假设一个工作人员已经使用批处理计算了新的权重,并且想要检查算法是否已经收敛以便停止。我将使用本地副本中可用的权重(因此使用相应的张量)还是在继续当前计算之前评估张量以获得最后更新的值?我尝试按照上述方法进行操作,但算法在达到迭代上限后没有收敛并停止。
预先感谢您的帮助:D