deep-learning - 3D 体积图像沿三个正交（轴）的 2D 卷积

Question

由于 3D 卷积需要太多的计算成本，所以我更喜欢使用 2D conv。我的动机是使用 2D conv 处理体积图像来降低成本。

我想沿三个正交应用 2D 卷积以获得 3 个结果，每个结果都属于这些正交之一。更清楚地说，假设我有一个 3D 体积图像。我不想应用 3D conv，而是想同时使用 xy、xz、yz 轴的 2D conv。然后，我希望有 3 种不同的体积结果。每个结果代表三个不同的正交。

有没有办法做到这一点？感谢帮助。

Answer 1

您可以排列您的图像。（一些框架，如numpy调用它transpose）。

假设我们使用3 x 3卷积核。

# A batch of 16 3 channel images (channels first)
a = tensor(shape=[16,3,1920,1080])

# 2D conv will slide over a `1920 x 1080` image, kernel size is `3 x 3 x 3`
a.shape is (16,3,1920,1080)

# 2D conv will slide over a `3 x 1080` image, kernel size is `1920 x 3 x 3`
a.permute(0,2,1,3)
a.shape is (16,1920,3,1080)

# 2D conv will slide over a `1920 x 3` image, kernel size is `1080 x 3 x 3`
a.permute(0,3,2,1)
a.shape is (16,1080,1920,3)