python - 计算 sigmoid 的最快方法是什么？

Question

我正在尝试实现一个sigmoid被选为激活函数的循环神经网络。

我的第一个原型是编写的python，我发现sigmoid不知何故是程序的瓶颈，约占总运行时间的 30%。

# x is a fixed size vector here
def sigmoid(x):
    return numpy.reciprocal(1.0 + numpy.exp(-x))

所以我尝试了另一种实现

def sigmoid(x):
    y = numpy.exp(x)
    return y/(1+y)

并且令人惊讶地发现它比第一种方法快 50%。

我还尝试了第三种方法

def sigmoid(x):
    return (1.0+numpy.tanh(x/2.0))/2.0

，这比第一种方法稍慢。

后来我用 C++ 测试了所有 3 个实现。前两种方法几乎没有任何区别，并且tanh速度稍快（~5%）。为什么会这样？我在想numpy是用 C++ 编写的。

Answer 1

基于此，您最好的选择似乎是scipy.special.expit