deep-learning - 如何用 Mish 替换 ReLU 激活函数？

Question

我已经训练 ResNext50 进行活动识别。网络的原始架构包括 ReLU。我使用原始架构实现的测试精度为 %85。当我用 Mish 替换所有 ReLU 激活函数时，准确率急剧下降到 %71。顺便说一下，LeakyReLU 显示出与 ReLU 相似的测试精度。

我想知道有没有办法让这个激活函数替换更好地达到高精度？例如：我看到一个在同一个网络中同时使用 ReLU 和 Mish 的例子。但我不知道如何小心地将它们组合在一起。