tensorflow - 张量流中的正则化损失是什么？

Question

当使用 Tensorflows 对象检测 API 训练对象检测 DNN 时，它的 Visualization Platform Tensorboard 会绘制一个名为regularization_loss_1

这是什么？我知道什么是正则化（使网络擅长通过各种方法（如 dropout）进行泛化）但我不清楚这种显示的损失可能是什么。

谢谢！

Answer 1

TL;DR：这只是正则化函数产生的额外损失。将其添加到网络的损失中并优化两者的总和。

正如您正确指出的那样，正则化方法用于帮助优化方法更好地泛化。一种方法是在损失函数中添加一个正则化项。该术语是一个通用函数，它修改“全局”损失（如网络损失和正则化损失的总和），以便将优化算法推向所需的方向。

例如，假设无论出于何种原因，我都希望鼓励权重尽可能接近零的优化解决方案。那么，一种方法是将网络权重的函数（例如，权重的所有绝对值的按比例缩小的总和）添加到网络产生的损失中。由于优化算法使全局损失最小化，我的正则化项（当权重远离零时很高）会将优化推向权重接近零的解决方案。