niftynet - 在并行卷积层中共享权重

Question

目前我正在使用 NiftyNet 开发一个新网络，需要一些帮助。

我正在尝试按照论文中的建议实现自动对焦层 [1]。

但是，在某个点上，自动对焦层需要计算K（K=4）个并行卷积，每个卷积使用相同的权重（w），然后将四个输出连接起来。

有没有办法在NiftyNet中创建四个具有相同权重的并行卷积层？

先感谢您。

[1] https://arxiv.org/pdf/1805.08403.pdf

Answer 1

该问题的解决方案如下。

没有限制允许您多次使用相同的卷积层，每次使用另一个输入。这模拟了所需的并行性并解决了权重共享问题，因为只有一个卷积层。

然而，使用这种方法并不能解决每个并行层中具有不同膨胀率的问题——我们只有一个卷积层来解决上面提到的权重共享问题。

注意：使用给定的张量作为卷积层的输入dilation rate = 2或使用扩张张量rate = 2作为卷积层的输入是相同的操作dilation rate = 1。

因此，创建 K 个膨胀张量，每个张量具有不同的膨胀率，然后将它们中的每一个用作单个卷积层的输入，从而dilation rate = 1解决了每个具有不同膨胀率的平行层的问题。

NiftyNet 提供了一个类来创建扩张张量。