0

我正在编写一个程序来识别手写字母。我有 500px*500px 图像作为 BufferedImages 导入，我将每个像素的 getRBG() 值作为神经网络的输入，因此有 250,000 个输入。getRGB() 的值范围从 -16777216（表示写入）到 -1（表示白色背景）。从输入到第一个隐藏节点的权重从 0 到 1 随机化。我一直使用 sigmoid 函数1/(1+e^(-x))作为激活函数来获取 0 到 1 之间的所有值。不过，我的问题是，因为有许多输入，当我将它们与权重相乘时，我得到一个巨大的数字（例如，1.3E8或-1.3E8）。然后，当我将该数字放入 sigmoid 函数时，结果总是全 1 或全 0，因此它基本上没有将有价值的信息传递给第二个隐藏节点。此外，由于图像主要是白色，因此大多数输入为 -1。

我调整了代码，使其在点积之后打印值，然后在它们通过 sigmoid 函数后打印它。

After dot product with weights, before sigmoid function: 
-1.3376484582733577E8   
-1.3382651127917042E8   
-1.3438475698429278E8   
-1.3356711106666781E8   
-1.3470225249402404E8   
-1.3372922925798771E8   
-1.3211961536262843E8   
-1.3512040351863045E8   

After sigmoid function: 
0.0 
0.0 
0.0 
0.0 
0.0 
0.0 
0.0 
0.0

为了编辑 getRGB() 值，我使用了该函数，newRGBValue = (getRGB() + 2) * (-1)因此所有值的范围从 -1 到 16777214。但是，当我将所有这些值传递给 sigmoid 函数时，它只返回 1，因为具有这些值的新点积是巨大的正数（如下面的输出所示）。

After dot product, before sigmoid function: 
1.3198725189415371E8    
1.3345978405544662E8    
1.3375036029244222E8    
1.3278472449389385E8    
1.328751157809899E8 
1.3309195657860701E8    
1.34090008925348E8  
1.3300517803640646E8

After: 
1.0 
1.0 
1.0 
1.0 
1.0 
1.0 
1.0 
1.0

我应该为这个程序使用更好的激活功能吗？或者有没有办法可以操纵输入以使 sigmoid 函数适合？很抱歉这篇冗长的帖子，并提前感谢您的任何见解。

4

1 回答 1

1

标准化您的输入。也就是说，对于每个图像，计算像素值的均值mu和方差sigma，并将旧的像素值替换v为归一化值(v - mu) / sigma。这消除了您对像素值的巨大负值。

还可以考虑使用均值为 0 方差为 1 的正态分布初始随机权重，这样您的点积的期望值为 0。然后，最好切换到以 0 为中心的 tanh 激活函数，因此领先更快的学习（如果你的点积接近 0）。

于 2018-05-01T01:17:07.317 回答