julia - 如何在 Flux.jl 中向我的模型添加批量标准化层

Question

我有一个我定义的简单模型，但我希望它使用批量标准化，所以我不必手动计算和提供标准化。该模型目前看起来像：

m = Chain(
  Dense(28^2, 64),
  Dense(64, 10),
  softmax)

如何编辑此模型以添加 BN 层或一起定义新层？

Answer 1

使用 Flux.jl 的内置批量标准化功能，您可以执行以下操作：

m = Chain(
  Dense(28^2, 64),
  BatchNorm(64, relu),
  Dense(64, 10),
  BatchNorm(10),
  softmax)

其中 relu是标准化后发生的逐元素激活。您可以relu在如下示例中了解我们为什么使用该函数：https ://stats.stackexchange.com/questions/226923/why-do-we-use-relu-in-neural-networks-and-how-do-我们使用它。BatchNorm在 Flux.jl 文档中了解有关该函数的更多信息。