有没有一种标准的方法可以将多张图像输入到 CNN 中，最后将信息浓缩成一张单一的图像？我正在研究一个 HDR 数据集，您可以在其中拥有同一场景的多个图像，并将它们组合在一起以形成噪声较少的图像。
我试图做的是将单独的图像设置为通道，但我不确定这是否合适，因为输出很奇怪。
问问题
1859 次
1 回答
0
- 这可以实施吗？
是的！任何神经网络，无论层数或类型如何，都只不过是某个函数f : I → O，因此只要您的不同输入属于同一类型，您就可以随意通过网络传递任意数量的输入，在黑盒的另一边获得同样多的输出。这些又可以通过任何其他函数g : O x O → O'以您希望的任何方式使用（可以是加法、张量乘法、连接或像另一个神经网络这样更奇特的东西）。
- 这有意义吗？
这里没有答案；这在很大程度上取决于您期望您的功能做什么、您的数据是什么以及您的最终目标是什么。您是否假设所有输入都遵循相同的统计属性或具有相似的基本模式？在这种情况下，您可以争辩说相同的功能可以对它们进行建模。请记住，通过并行（即异步）应用它们，您可以使您的函数对两个输入之间潜在的交叉依赖关系视而不见，这在某些情况下是完全有意义的。为了更清楚一点，如果您的不同输入是单个图像的不同通道，我认为这是错误的方法；每个频道可能传达不同的信息，并使您的网络不知道每个频道如何相互影响，而强迫它使用相同的函数来创建有意义的抽象听起来并不是一个好主意。另一方面，如果您的不同图像是例如来自不同角度的对象的照片，并且您应用它们的子网络是对其特征的某种分类器（例如，已经通过另一个 CNN 获得），那么它使用相同的功能对两者进行建模可能是有意义的。
于 2018-03-20T08:29:35.230 回答