python - 辍学是否适用于 Keras 中的正则化项？

Question

我有一个自定义的正则化术语my_reg。

model = Sequential()
model.add(Dense(128, activation='relu'))
model.add(Dense(64, activation='relu'))
# The last layer is regularized with a custom regularizer
model.add(Dense(10, activation='softmax', W_regularizer=my_reg))
model.add(Dropout(0.5))

是否Dropout(0.5)也适用于my_reg培训过程中？如果不是，我怎样才能使它成为真的？提前致谢！

Answer 1

Dropout 的工作原理是丢弃神经元，将它们的激活设置为零，因此这在概念上也会影响与该神经元相关的权重，您可能会将其视为“应用于”任何正则化项，但请注意，权重从未明确设置为零，所以你会看到正则化系数效果几乎没有变化。