neural-network - U-net 与 FCN 背后的直觉用于语义分割

Question

我不太明白以下内容：

在Shelhamer 等人提出的用于语义分割的 FCN 中，他们提出了一种像素到像素的预测来构建图像中对象的掩码/精确位置。

在用于生物医学图像分割的 FCN 的略微修改版本U-net中，主要区别似乎是“与收缩路径中相应裁剪的特征图的连接”。

现在，为什么这个功能特别适用于生物医学分割？对于生物医学图像与其他数据集，我可以指出的主要区别在于，在生物医学图像中，定义对象的特征集不如日常常见对象那样丰富。数据集的大小也是有限的。但是这个额外的功能是受这两个事实的启发还是其他原因？

Answer 1

FCN 与 U-Net：

FCN

1. 它只上采样一次。即它在解码器中只有一层
2. 原始实现github repo使用双线性插值对卷积图像进行上采样。那就是这里没有可学习的过滤器
3. FCN-[FCN 16s 和 FCN 8s] 的变体添加了来自较低层的跳过连接，以使输出对规模变化具有鲁棒性

---

网络

1. 多个上采样层
2. 使用跳过连接和连接而不是相加
3. 使用可学习的权重过滤器而不是固定插值技术

Answer 2

U-Net 建立在 J. Long 的 FCN 论文之上。一些不同之处在于原始 FCN 论文使用解码器一半对分类进行上采样（即网络的整个后半部分的深度为 C - 类数）

U-Net 将后半部分视为在特征空间中，并在最后进行最终分类。

生物医学 IMO 没有什么特别之处