machine-learning - 如何在pylearn2的隐藏层中使用leaky ReLus作为激活函数

Question

我正在使用 pylearn2 库来设计一个 CNN。我想在一层中使用 Leaky ReLus 作为激活函数。有没有可能使用pylearn2来做到这一点？我必须为它编写一个自定义函数还是 pylearn2 有内置的函数？如果是这样，如何编写自定义代码？请问有人可以帮我吗？

Answer 1

ConvElemwise超类是一个通用的卷积 elemwise 层。在它的子类中 ConvRectifiedLinear是一个卷积整流线性层，它使用RectifierConvNonlinearity类。

在apply()方法中：

    p = linear_response * (linear_response > 0.) + self.left_slope *\
        linear_response * (linear_response < 0.)

正如这篇温和的评论指出的那样：

... Maxout 神经元（ Goodfellow 等人最近引入）概括了 ReLU 及其泄漏版本。

例如MaxoutLocalC01B或MaxoutConvC01B。

pylearn2-user没有答案的原因可能是pylearn2主要是由LISA 实验室的研究人员编写的，因此FAQ中第 13 点的阈值可能很高。