tensorflow - 使用金属性能着色器进行反卷积

Question

原来没有像deconvolutionin这样的操作MPS。中最接近的类似物tensorflow是conv2d_transpose.

MPS是否可以在默认操作之间对插件自定义操作进行排序？

Answer 1

您可以编写自己的 Metal 计算内核并在 MPS 操作之间执行它们。

例如：

let commandBuffer = commandQueue.makeCommandBuffer()

. . .

// Do something with an MPSCNN layer:
layer1.encode(commandBuffer: commandBuffer, sourceImage: img1, destinationImage: img2)

// Perform your own compute kernel:
let encoder = commandBuffer.makeComputeCommandEncoder()
encoder.setComputePipelineState(yourOwnComputePipeline)
encoder.setTexture(img2.texture, at: 0)
encoder.setTexture(img3.texture, at: 1)
let threadGroupSize = MTLSizeMake(. . .)
let threadGroups = MTLSizeMake(img2.texture.width / threadGroupSize.width,
                               img2.texture.height / threadGroupSize.height, 1)
encoder.dispatchThreadgroups(threadGroups, threadsPerThreadgroup: threadGroupSize)
encoder.endEncoding()

// Do something with another MPSCNN layer:
layer2.encode(commandBuffer: commandBuffer, sourceImage: img3, destinationImage: img4)

. . .

commandBuffer.commit()

您必须使用金属着色语言编写自己的计算内核并将其加载到yourOwnComputePipeline对象中。然后，您可以随时将其编码到当前命令缓冲区中。

Answer 2

[我将此添加为新答案，因为它是不同的解决方案。]

请注意，深度学习中的反卷积也称为“转置卷积”，这意味着它与进行常规卷积相同，但内核水平和垂直翻转。

因此，您应该能够使用一个常规MPSCNNConvolution层，该层将MPSImage您希望反卷积的作为输入，并使用与“前向”卷积步骤相同的内核，但水平和垂直翻转。

与编写自己的计算内核相比，这样做的优势在于您可以使用 MPS 提供的非常快的内核。

编辑：一个例子。假设您的 conv 内核权重如下所示：

1, 2, 3
4, 5, 6
7, 8, 9

然后在翻转内核后，权重如下所示：

9, 8, 7
6, 5, 4
3, 2, 1

换句话说，您需要复制权重数组并将其反转。在内存中，第一个权重如下所示：

1, 2, 3, 4, 5, 6, 7, 8, 9

翻转的内核在内存中看起来像这样，所以它只是原始内核，但顺序相反：

9, 8, 7, 6, 5, 4, 3, 2, 1

然后使用该反向数组创建一个新的卷积层。现在这是您的 deconv 层。

我没有 Metal 示例代码给你看，但它与制作常规MPSCNNConvolution层确实没有什么不同。您只需要反转图层的权重。

Answer 3

MPS 现在在 macOS X.13 和 tvOS/iOS 11 中提供 MPSCNNConvolutionTranspose。