1

语境:

我正在尝试复制 Hinton 的“带有 EM 路由的矩阵胶囊”(https://openreview.net/forum?id=HJWLfGWRb)。

在某些时候,会执行卷积操作(在某种意义上,输出张量连接到输入张量,并且输出张量中的每个元素仅受包含在大小为 K 的 2D 掩码中的输入元素的影响)。

x形状的输入 张量w_in,w_in where

  • w_in=14

中间张量映射到x_mapped形状的输入 张量,w_out,w_out,K,K 其中

  • K=3是卷积核大小
  • w_out=6,由卷积产生stride=2

对维度 2 和 3(均为 size K)求和意味着对连接到输出元素的输入元素求和,该输出元素的位置由维度 0 和 1 给出。

问题:

如何x_mapped根据输入张量中的位置有效地将 中的(1)组元素归一化x

例如:
x_mapped(0,0,2,2)
x_mapped(1,0,0,2)
x_mapped(0,1,2,0)
x_mapped(1,1,0,0)
都连接到x(2,2)(公式为i_out*stride + K_index = i_in)。因此,我希望这 4 个元素的总和为 1。

我想对所有x_mapped“连接”到x.

我可以通过以下方式弄清楚如何做到这一点:

  1. 构建以输入位置为键、输出元素列表为值的字典
  2. 在字典上循环,对给定输入位置的列表中的元素求和,然后除以该总和

但这对我来说似乎真的效率低下。

4

1 回答 1

0

我通过以下方式解决了这个问题:

  1. 创建一个以 2 元组为键(中的坐标)和作为值 x的元素列表的字典。x_mapped
  2. 对字典进行一次循环,压缩一个字典项的所有元素,然后进行规范化。

这是代码:

from collections import defaultdict
import torch

ho = 6
wo = 6
stride = 2
K = 3

d = defaultdict(list)

x_mapped = torch.arange(0,ho*wo*K*K).view(ho,wo,K,K).type(dtype = torch.DoubleTensor)

for i_out in range(0,ho):
    for j_out in range(0,wo):
        for K_i in range(0,K):
            for K_j in range(0, K):
                i_in = i_out * stride + K_i
                j_in = j_out * stride + K_j

                d[(i_in, j_in)].append((i_out, j_out, K_i, K_j))

for _ , value in d.items():
    ho_list, wo_list, K_i_list, K_j_list = zip(*value)
    x_mapped[ho_list, wo_list, K_i_list, K_j_list] = x_mapped[ho_list, wo_list, K_i_list, K_j_list] / torch.sum(
        x_mapped[ho_list, wo_list, K_i_list, K_j_list])
于 2018-10-24T07:59:13.810 回答