2

我知道阶跃传递函数是如何工作的，但线性传递函数是如何工作的？你用什么等式？将答案与两个输入和一个偏差与与门相关联

4

2 回答 2

2

非线性传递函数（又名：激活函数）是赋予简单全连接多层神经网络非线性逼近能力的最重要因素。

尽管如此，“线性”激活函数当然是您可能想要采用的众多替代方案之一。但问题是，隐藏层中的纯线性传输（f(x) = x) 对我们来说没有意义，这意味着如果我们尝试训练一个隐藏单元被纯激活的网络，它可能是“徒劳的”线性函数。

我们可以通过以下方式来理解这个过程：

假设 f(x)=x 是我们的激活函数，我们尝试训练具有 2 个输入单元 (x1,x2)、3 个隐藏单元 (a1,a2,a3) 和 1 个输出单元 (y) 的单个隐藏层网络。因此，网络试图逼近函数：

# hidden units
a1 = f(w11*x1+w12*x2+b1) = w11*x1+w12*x2+b1
a2 = f(w21*x1+w22*x2+b2) = w21*x1+w22*x2+b2
a3 = f(w31*x1+w32*x2+b3) = w31*x1+w32*x2+b3

# output unit
y = c1*a1+c2*a2+c3*a3+b4

如果我们结合所有这些方程，结果是：

y = c1(w11*x1+w12*x2+b1) + c2(w21*x1+w22*x2+b2) + c3(w31*x1+w32*x2+b3) + b4
  = (c1*w11+c2*w21+c3*w31)*x1 + (c1*w12+c2*w22+c3*w32)*x2 + (c1*b1+c2*b2+c3*b3+b4)
  = A1*x1+A2*x2+C

如上所示，无论网络的结构如何，线性激活都会将网络退化为单个输入-输出线性乘积。在训练过程中所做的是将 A1、A2 和 C 分解为各种因素。

甚至深度神经网络中一种非常流行的准线性激活函数 Relu 也得到了纠正。换句话说，除非您想分解系数，否则在隐藏层中不使用纯线性激活。

于 2015-09-29T03:05:47.653 回答
2

首先，通常您只想在 MLP 的输出层应用线性传递函数，而在通常使用非线性传递函数（逻辑函数、步长等）的隐藏层中“从不”。

线性传递函数（在文献中提到的纯线性或纯线性的形式为 f(x) = x ）通常用于函数逼近/回归任务（这很直观，因为步进和逻辑函数给出二进制结果，其中线性函数给出连续的结果）。

非线性传递函数用于分类任务。

于 2015-09-16T10:49:10.233 回答