我一直在思考这个问题有一段时间了,但我还没有找到一个我很满意的答案。
想象一下,我们已经在 MNIST 数字数据库上训练了一个 DNN,它以一定的高精度对样本外观察进行分类。然后我们向 DNN 展示 4 和 3 的异常图像,如下所示。DNN 会正确分类吗?我不这么认为,因为隐藏层根本不会具有图像中存在的具有不寻常数字(各种卷发)的特征,因此它可能会对它们进行错误分类。
我还认为仅对此类不寻常数字的数据库进行培训会很困难。隐藏层将如何存储(非常相似的)特征?直观地说,它会在这个 db 上过拟合,因为由于卷曲之间的相似性,隐藏的神经元将学习所有不必要的特征。
我认为训练这种 DNN 的方法是以某种方式学习组成数字的“条”/卷曲之间的角度,例如在数字“4”中,条之间有一个直角,但我不太确定。我也找不到处理这个问题的论文。