在这个tensorflow 示例中,它对全连接参数使用了 L2 正则化:
regularizers = (tf.nn.l2_loss(fc1_weights) + tf.nn.l2_loss(fc1_biases) +
tf.nn.l2_loss(fc2_weights) + tf.nn.l2_loss(fc2_biases))
它是什么?为什么这里使用全连接参数?以及它如何提高性能?
在这个tensorflow 示例中,它对全连接参数使用了 L2 正则化:
regularizers = (tf.nn.l2_loss(fc1_weights) + tf.nn.l2_loss(fc1_biases) +
tf.nn.l2_loss(fc2_weights) + tf.nn.l2_loss(fc2_biases))
它是什么?为什么这里使用全连接参数?以及它如何提高性能?
正则化器通常是添加到损失函数中的术语,可防止模型过度拟合训练数据。他们通过鼓励学习模型的某些属性来做到这一点。
例如,参数的 L2 正则化鼓励所有参数都很小,而不是尖峰。这反过来又会鼓励网络对输入向量的所有维度给予同等关注。
Wikipedia页面是对正则化的一般介绍,您可以单击以深入了解 L2 正则化。