python - 机器学习中的激活函数

Question

机器学习中的激活函数是什么意思。我浏览了大多数文章和视频，每个人都陈述或将其与神经网络进行比较。我是机器学习的新手，对深度学习和神经网络不太熟悉。那么，谁能解释一下激活函数到底是什么？而不是用神经网络来解释。我在学习逻辑回归的 Sigmoid 函数时遇到了这种歧义。

Answer 1

如果不参考自动学习，就很难描述激活函数，因为这正是它们的应用，也是一个集合术语背后的基本原理。它们帮助我们将学习集中在一系列功能转换中。我会尽量减少描述的复杂性。

很简单，激活函数是一种过滤器，可以将输出信号（一系列值）从其当前形式更改为我们认为更“活跃”或对手头目的有用的形式。

例如，一个非常简单的激活函数就是大学录取分数线。我的大学要求 SAT 的每个部分至少有 500 分。因此，任何申请人都会通过这个过滤器：如果他们不满足该要求，“录取分数”就会降为零。这“激活”了其他候选人。

另一个常见的函数是您研究的 sigmoid：这个想法是将明显优秀的值（将它们映射为接近 1）与明显不受欢迎的值（将它们映射为接近 -1）区分开来，并保留区分或了解这些值的能力中间（将它们映射到对进一步工作有用的渐变）。

第三种类型可能会突出频谱顶端的差异——比如足球进球和助攻。在试图判断球员之间的相对水平时，我们必须考虑：一个赛季15球和18球的差距与0球和3球的差距一样吗？一些人认为，数字越大，得分技巧的差异就越大：得分越高，对手就越集中精力阻止你。此外，我们可能要考虑指标中有一点“噪音”：一个赛季的前两个进球并没有真正表现出太多。

在这种情况下，我们可能会为目标选择一个激活函数，g例如

1.2 ^ max(0, g-2)

然后将该评估添加到其他因素以获得玩家的度量。

这有助于为您解释事情吗？

Answer 2

激活函数对于人工神经网络学习和理解输入和响应变量之间非常复杂和非线性复杂的函数映射非常重要。它们将非线性属性引入我们的网络。它们的主要目的是转换A-NN 中节点的输入信号到输出信号。该输出信号现在用作堆栈中下一层的输入。

具体来说，在 A-NN 中，我们对输入 (X) 及其对应的权重 (W) 的乘积求和，并对其应用激活函数 f(x) 以获得该层的输出并将其作为输入提供给下一层层。

更多信息在这里

Answer 3

简而言之，激活函数是添加到人工神经网络中以帮助网络学习数据中复杂模式的函数。当与我们大脑中基于神经元的模型进行比较时，激活函数最终决定将什么发射到下一个神经元。这正是激活函数在 ANN 中所做的事情。它接收前一个单元的输出信号并将其转换为某种形式，可以作为下一个单元的输入。