c++ - 如何计算从立体图像到密集视差图？

Question

如何计算从立体图像到立体图像的密集视差图？

到目前为止，我的想法是检查第一张图像中的所有像素，然后扫描第二张图像以查找匹配项。为了比较两个像素的相似性，我计算了它们周围一个小窗口中像素的平方差。该算法在合成图像上效果相对较好，但在包含反射或光强度差异较大的图片上失败。我应该使用什么方法来获得更好的结果？

图像处理大师，请分享你的知识。

Answer 1

Otto-Chau 立体匹配算法非常有效，它结合了具有亚像素精度的自适应最小二乘补丁匹配以及匹配图像上的区域增长：

Otto, GP, Chau, TKW, 1989。用于匹配地形图像的“区域增长”算法。图像视觉计算，7(2)，第 83-94 页。

这是一种基于区域的方法，因此在一定程度上依赖于图像中合理数量的纹理。如果您的图像数据非常稀疏，则基于特征的方法可能会更好，可能会通过自适应 LS 匹配来增强准确性。相关方法易于实现并且速度很快，但由于它们不考虑图像之间的仿射翘曲，因此它们通常不如使用 Newton-Raphson 方案以最小化翘曲次数和辐射测量参数以获得图像之间的非常好的拟合。

Answer 2

我发现这篇文章是关于计算密集视差图的方法，如果你点击链接，你可以获得详细描述他们方法的 PDF。不幸的是，我的图像处理经验不包括立体视觉，因此我无法评论所呈现算法的质量。

http://serdis.dis.ulpgc.es/~lalvarez/research/demos/StereoFlow/

我将检查我的文本以获取有关此主题的任何进一步材料。

编辑：我浏览了我拥有的书籍和 Linda G. Shapiro 和 George C. Stockman 的“计算机视觉”，在已知相机和图像方向时，对立体镜背后的数学进行了约 10 页的解释，并指出了有关相关性的部分找到立体图像之间的共同特征，但在视差映射上一无所获。

Answer 3

计算差异的一种流行且有效的方法涉及图形切割。本质上，一个图形是由​​两个图像创建的，然后以这样一种方式进行切割，以最小化图像中深度不连续性导致的能量。康奈尔大学的 Ramin Zabih 有很多关于这个主题的论文：

http://www.cs.cornell.edu/~rdz/graphcuts.html

我建议“通过图形切割快速近似能量最小化”作为概述。