tensorflow - 多层的多重激活函数（神经网络）

Question

我的神经网络有一个二元分类问题。

在我的隐藏层中使用 ReLU 激活函数和在输出层中使用 sigmoid 函数，我已经得到了很好的结果。现在我正在努力获得更好的结果。我使用 ReLU 激活函数添加了第二个隐藏层，结果变得更好。我尝试对第二个隐藏层使用leaky ReLU 函数而不是 ReLU 函数，并获得了更好的结果，但我不确定这是否允许。

所以我有这样的东西： 隐藏层 1：ReLU 激活函数 隐藏层 2：leaky ReLU 激活函数 隐藏层 3：sigmoid 激活函数

我在上面找不到很多资源，而且我发现的那些总是在所有隐藏层上使用相同的激活函数。

Answer 1

如果你指的是 Leaky ReLU，我可以说，实际上，Parametric ReLU (PReLU) 是泛化传统整流单元和leaky ReLU 的激活函数。是的，PReLU 改进了模型拟合，没有显着的额外计算成本和过拟合风险。

有关更多详细信息，您可以查看此链接Delving Deep into Rectifiers