0

关于卷积神经网络的全连接层,我有一些不确定性。假设输入是卷积层的输出。我知道前一层是扁平的。但它可以有多个渠道吗?(例如,全连接层的输入可以是 16x16x3(3 个通道,扁平化为 768 个元素的向量吗?)

接下来,我理解输出的等式是,

outputs = activation(inputs * weights' + bias)

每个输入有 1 个重量吗?(例如,在上面的例子中,会有 768 个权重吗?)

接下来,有多少偏差?每个频道 1 个(所以 3 个)?1不管怎样?还有什么?

最后,过滤器如何在全连接层中工作?可以多于1个吗?

4

1 回答 1

2

您可能对全连接神经网络的工作方式有误解。为了更好地理解它,您可以随时查看一些很好的教程,例如斯坦福的在线课程这里

要回答您的第一个问题:是的,无论您拥有什么尺寸,都需要在发送到完全连接的层之前将其展平。

要回答您的第二个问题,您必须了解全连接层实际上是矩阵乘法后跟向量加法的过程:

input^T * weights + bias = output

输入尺寸为 1xIN,权重尺寸为 INxOUT,输出尺寸为 1xOUT,因此您有 1xIN * INxOUT = 1xOUT。总之,您将拥有每个输入的 INxOUT 权重和 OUT 权重。您还需要 OUT 偏置,这样完整的等式就是 1xIN * INxOUT + 1xOUT(偏置项)。

由于您没有进行卷积,因此没有过滤器。

请注意,全连接层也等于 1x1 卷积层,许多实现后来使用全连接层,这可能会让初学者感到困惑。详情请参考这里

于 2019-06-25T02:17:32.290 回答