我见过的神经网络应用程序总是学习其输入的权重并使用固定的“隐藏层”。
但我想知道以下技术：
1）固定输入，但隐藏层不再固定，因为它们计算的输入功能可以调整（学习）
2）固定输入，但隐藏层不再固定，因为尽管它们具有计算其输入的固定函数（乘法、加法等......就像 CPU 或 GPU 中的 ALU）的集群，但权重它们之间以及它们之间的连接和输入可以被学习（这在某些方面应该等同于1））
这些可用于对我们知道输入和输出但不知道输入如何转换为输出的系统进行建模（找出“黑匣子”内的内容）。是否存在这样的技术，如果存在，它们叫什么？
对于您问题的第 (1) 部分，我想到了一些相对较新的技术。
第一个是一种称为“maxout”的前馈层，它计算其输入的分段线性输出函数。
考虑具有d输入和线性传递函数的传统神经网络单元。我们可以将这个单元的输出描述为它的输入z（一个带有d元素的向量）的函数g(z) = w z，其中w是一个带d有权重值的向量。
在一个 maxout 单元中，该单元的输出被描述为
g(z) = max_k w_k z
其中w_k是一个具有权重值的向量，并且每单位d有k这样的权重向量。maxout 单元中的每个权重向量计算输入的一些线性函数，并将所有这些线性函数组合成单个凸分段线性函数。网络可以学习各个权重向量，因此实际上每个线性变换都学习对输入 ( ) 空间的特定部分进行建模。[w_1 ... w_k] maxz
您可以在http://arxiv.org/abs/1302.4389阅读有关 maxout 网络的更多信息。
最近开发的第二种技术是“参数relu”单元。在这种类型的单元中，网络层中的所有神经元都计算输出g(z) = max(0, w z) + a min(w z, 0)，而更传统的整流线性单元计算g(z) = max(0, w z)。该参数a在网络层中的所有神经元之间共享，并与权重向量一起学习w。
http://arxiv.org/abs/1502.01852描述了 prelu 技术。
Maxout 单元已被证明适用于许多图像分类任务，特别是与 dropout 结合以防止过度训练时。目前尚不清楚参数 relu 单元在图像建模中是否非常有用，但 prelu 论文在一段时间以来被认为是图像分类中的基准任务方面取得了非常好的结果。