0

我正在构建一个 tensorflow 模型,该模型将具有一些可变大小的输入,零填充用于将较小的输入提升到标准输入大小。我还打算使用某种重量衰减(L1/L2 正则化)。

我担心的是,在训练期间,无论何时输入填充输入,从零输入引出的权重将继续被我使用的任何正则化衰减。理想情况下,我想对由于零输入而没有梯度的权重禁用 L1/L2 正则化。有没有办法让 TF 做到这一点?禁用这些权重的权重更新也可以。

4

0 回答 0