machine-learning - sigmoid 导数的实际用途是什么？

Question

老实说，我正在学习神经网络，但我在激活部分有一个问题。我知道这个问题很笼统，互联网上有很多解释。但是我还是不太明白。

为什么我们需要推导 sigmoid 函数？为什么我们不直接使用它？

如果你能给出清楚的解释就好了。谢谢你。我在 youtube 上看过很多视频，我已经阅读了很多关于它的文章，但仍然不明白。谢谢你的帮助。

Answer 1

您的问题并不完全清楚，但我假设您在问：“我们为什么不直接使用 Sigmoid 函数而不必计算其导数？”。

你的问题也很宽泛，所以我的回答很宽泛而且罗嗦，你需要阅读更多内容才能了解所有细节，我会尝试提供链接。

1. 激活函数：顾名思义，我们想知道给定节点是“打开”还是“关闭”，sigmoid 函数提供了一种简单的方法将连续变量 (X) 转换为 {0,1 }。

   

用例可能会有所不同，并且此函数具有某些属性，这就是为什么有许多替代“激活”函数的原因，例如tanh、ReLU等。在此处阅读更多信息：https ://en.wikipedia.org/wiki/Sigmoid_function

2. 微分（导数）：大多数模型我们希望为我们的所有激活函数找到最适合的 beta 参数。为此，我们通常希望最小化一个“成本”函数，该函数描述了我们的模型在预测观察到的数据方面有多好。解决这个优化问题的一种方法是梯度下降。梯度下降的每一步都通过遵循多维成本函数空间来更新参数。为此，它需要激活函数的梯度。这对于使用梯度下降来优化网络的反向传播很重要，它要求您（在大多数情况下）使用的激活函数是可区分的。在此处阅读更多信息：https ://en.wikipedia.org/wiki/Gradient_descent

如果您有更深层次的问题，我建议您将其带到机器学习 stackexchange 站点之一。