11

我正在使用 Visual Studio 2010 上的 OpenCV 2.3.1 进行图像拼接项目。

我目前有2个问题。

（我的名气不超过10，所以我只能在这个帖子中发布2个超链接。我会在评论区再发布2个）

我按照以下链接 Stitching 2 images in opencv中提到的步骤进行操作

  1. 在两个图像中查找 SURF 特征并匹配它们
  2. 使用 RANSAC 去除异常值
  3. 计算单应性
  4. 将目标图像变形为参考图像

下图是我目前得到的结果：

使用相机在相同位置但在不同方向拍摄两张图像（我使用了三脚架）。

在此处输入图像描述

然后我尝试了另一个测试。这次我仍然使用同一台相机拍摄 2 张​​图像。然而，我将相机从原来的位置移动了一点，然后我拍了第二张照片。结果相当糟糕，如图所示：

在此处输入图像描述

问题1：**这是否意味着**如果两个摄像头在不同的位置，标准的全景拼接技术（基于单应性或摄像头旋转模型）将不起作用？

我尝试拼接在不同位置拍摄的图像，因为将来我想在不同位置的 2 个相机上实现拼接算法，以扩大 FOV，有点像这样：（我会在评论中发布图片，请检查扩大视野）

但现在看来我走错路了:(。

我刚刚发现，在算法过程中，特征查找和匹配花费了大部分时间。

问题 2：我可以只计算 2 张图像的某些部分（重叠区域）的特征，并仍然使用 Homography 执行转换吗？即，不计算整个图像。

我之所以这样认为是因为我认为如果我指定 2 个图像之间的重叠区域的数量，则不需要计算整个图像中的特征。如果我可以计算和匹配重叠区域的特征，它应该会大大提高速度。

下面显示的第一个代码是计算整个图像的特征的原始代码。

    int minHessian = 3000;

    SurfFeatureDetector detector( minHessian );
    vector<KeyPoint> keypoints_1, keypoints_2;

    detector.detect( frm1, keypoints_1 );
    detector.detect( frm2, keypoints_2 );

    //-- Calculate descriptors (feature vectors)  
    SurfDescriptorExtractor extractor; ///

    Mat descriptors_1, descriptors_2;

    extractor.compute( frm1, keypoints_1, descriptors_1 );
    extractor.compute( frm2, keypoints_2, descriptors_2 );

我做了以下事情来尝试减少运行整个算法所需的时间：

    //detector.detect( frm1(Rect(0.5*frm1.cols,0,0.5*frm1.cols,frm1.rows)), keypoints_1 );
    //detector.detect( frm2(Rect(0,0,0.6*frm2.cols,frm2.rows)), keypoints_2 );

    //-- Calculate descriptors (feature vectors)
    SurfDescriptorExtractor extractor; ///

    Mat descriptors_1, descriptors_2;

    extractor.compute( frm1(Rect(0.5*frm1.cols,0,0.5*frm1.cols,frm1.rows)), keypoints_1, descriptors_1 );
    extractor.compute( frm2(Rect(0,0,0.6*frm2.cols,frm2.rows)), keypoints_2, descriptors_2 );

使用上面的代码，计算时间显着减少，同时给出了一个糟糕的结果：（我会在评论中发布图片，请检查Bad Result）

目前卡住了，不知道下一步该做什么。真的希望并感谢任何帮助。谢谢。

4

1 回答 1

8

问题1： 我不能很确定，但拼接的问题似乎是由于两张图片之间的相机平移造成的。仅使用全局单应性变换，您无法完美地叠加 2 个图像。Homography 仅适用于以下 2 种情况：

  1. 相机进行纯旋转（无平移）
  2. 相机进行一般运动，但场景是平面的

也就是说，如果不是瓶子，您的场景是相当平面的（与相机的平移相比，对象相当远）。因此，单应性近似可能仍然足够。您只需要正确混合图像。为此，您首先需要找到一个“剪切”两个图像之间差异最小的图像的位置，并应用（例如拉普拉斯）混合。对于安装在汽车顶部的摄像头的问题，这种近似可能仍然是合理的，因此您仍然可以使用单应性模型。

如果具有适当混合的单应性还不够，您可能需要查看 3D 重建技术或其他“放松”单应性要求的方法。文献中有几篇论文涉及镶嵌过程中的视差。然而，这些比基本的单应性拼接要复杂得多。

问题 2： 是的，可以这样做，只要您非常确定重叠的位置。但是，您需要确保此重叠区域不会太小，否则您计算的单应性可能会出现偏差。如前所述，您的办公室数据集的问题似乎是由于相机翻译造成的。

最后，您可能需要稍微调整一下 SURF 特征检测/匹配参数。特征点似乎略微偏低。

于 2012-06-24T13:08:40.497 回答