deep-learning - 是否有计划在 H2O 中实现泄漏的 ReLU？

Question

是否有计划在 H2O 的深度学习模块中实现泄漏的 ReLU？我是神经网络的初学者，但是在有限的模型构建和参数调整中，我发现 ReLU 可以更好地泛化，并且想知道是否可以通过使用leaky ReLU 来避免死亡的 ReLU 问题来获得更好的性能。

Answer 1

这不是您问题的直接答案，因为产品路线图并不是我们可以评论的。但是，如果您担心 H2O 中的死亡 ReLU 问题，为什么不使用ExpRectifier代表指数线性单元 (RLU)，它不会遇到死亡 ReLU 问题。事实上，本文证明 ELU 优于所有 ReLU 变体。唯一的缺点是它的计算量更大，因为它涉及计算中的指数。