1

对不起,我只在这里一直问。我也会努力学习准备回答问题的!

许多论文和文章声称对 MLP 的激活函数选择没有限制。

似乎只有哪一个最适合给定条件才重要。

还有文章说,数学证明简单的感知器不能解决 XOR 问题。

我知道那个简单的感知器模型过去常常使用阶跃函数作为其激活函数。

但是如果基本上使用哪个激活函数都没有关系,那么使用

f(x)=1 if |x-a|<b 
f(x)=0 if |x-a|>b 

作为激活函数适用于 XOR 问题。(对于2输入1输出无隐藏层感知器模型)

我知道使用人工函数不利于学习模型。但如果它仍然有效,那么为什么文章说它被证明它不起作用?

这篇文章是否意味着使用阶跃函数的简单感知器模型?还是简单感知器的激活函数必须是不同于 MLP 的阶跃函数?还是我错了?

4

2 回答 2

1

In general, The problem is that non-differentiable activation functions (like the one you proposed) cannot be used for back-propagation and other techniques. Back propagation is a convenient way to estimate the correct threshold values (a and b in your example). All the popular activation functions are selected such that they approximate step behaviour while remaining differentiable.

于 2014-06-19T08:32:10.780 回答
1

正如 bgbg 提到的,您的激活是不可微分的。如果您使用 MLP 计算梯度和更新权重所需的可微激活函数 ,那么感知器只是拟合一条线,直观上无法解决非线性 XOR 问题。

于 2014-06-19T20:20:07.080 回答