machine-learning - 是否需要为冻结层定义后向函数？

Question

我有一个具有 4 个隐藏层的函数拟合网络。

我需要为第一层和第三层找到合适的权重，而第二层和第四层是某种归一化层，不需要学习，所以我只是通过将它们的学习率设置为零来冻结它们。

我的问题是：

我应该为这两个冻结层定义后向函数吗？

我在caffe中看到，没有任何可学习参数的池化层具有后向功能。

提前致谢，

Answer 1

是的，你需要一个反向传递，否则你的学习将在这一层停止（它下面的任何东西都不会学习）。即使对于不可学习的层，您也需要计算有效的梯度。