python - Tensorflow 中近端 Adagrad 优化器中的正则化应用

Question

我一直在尝试使用 Tensorflow 的 ProximalAdagradOptimizer 函数中的 l1_regularization_strength 参数在 Tensorflow 中实现 l1 正则化。（我专门使用这个优化器来获得稀疏解决方案。）我有两个关于正则化的问题。

1. 优化器中使用的 l1 正则化是否适用于神经网络的前向和后向传播或仅适用于反向传播？
2. 有没有办法分解优化器，使正则化只适用于网络中的特定层？

Answer 1

1. 正则化既不适用于前向传播或反向传播，也适用于权重更新。

2. 您可以通过将变量显式传递给每个优化器来对不同的层使用不同的优化器。