conv-neural-network - 空间变换网络如何学习适当地变换图像？

Question

看完这篇文章，我有点理解网络是如何转换图像的；但是，我无法了解它实际上是如何学习哪个方向有助于后续分类步骤的。

几乎在帖子和PyTorch 的 STN 教程的结尾，它们展示了 STN 如何旋转和转换图像以获得更好的分类性能。

它仅基于训练集吗？比如，如果大多数图像倾向于具有特定的方向，比如说旋转了 20 度，那么网络会学习旋转未旋转的图像吗？

Answer 1

如果大多数图像倾向于具有特定的方向，比如说旋转了 20 度，那么网络会学习旋转未旋转的图像吗？

图像不会学习旋转 0 度，因为 STN 不知道哪个可能是人类的正确（正确）方向。STN 部分根据网络的整体精度提高来决定正确的方向。

所以，是的，你是对的。如果人类通过将大多数图像保持 20 度旋转来注释大部分图像并说这些是正确的地面实况，那么最终 STN 应该向 20 度泛化，因为在这种情况下，网络模型将在目标函数中显示最小损失（或换句话说，最大准确度）得分。