0

我使用 SIFT 来检测、描述两个图像中的特征点如下。

void FeaturePointMatching::SIFTFeatureMatchers(cv::Mat imgs[2], std::vector<cv::Point2f> fp[2])
{
    cv::SiftFeatureDetector  dec;
    std::vector<cv::KeyPoint>kp1, kp2;

    dec.detect(imgs[0], kp1);
    dec.detect(imgs[1], kp2);

    cv::SiftDescriptorExtractor ext;
    cv::Mat desp1, desp2;

    ext.compute(imgs[0], kp1, desp1);
    ext.compute(imgs[1], kp2, desp2);

    cv::BruteForceMatcher<cv::L2<float> > matcher;
    std::vector<cv::DMatch> matches;
    matcher.match(desp1, desp2, matches);

    std::vector<cv::DMatch>::iterator iter;

    fp[0].clear();
    fp[1].clear();
    for (iter = matches.begin(); iter != matches.end(); ++iter)
    {
        //if (iter->distance > 1000)
        //  continue;
        fp[0].push_back(kp1.at(iter->queryIdx).pt);
        fp[1].push_back(kp2.at(iter->trainIdx).pt);
    }

    // remove outliers
    std::vector<uchar> mask;
    cv::findFundamentalMat(fp[0], fp[1], cv::FM_RANSAC, 3, 1, mask);

    std::vector<cv::Point2f> fp_refined[2];
    for (size_t i = 0; i < mask.size(); ++i)
    {
        if (mask[i] != 0)
        {
            fp_refined[0].push_back(fp[0][i]);
            fp_refined[1].push_back(fp[1][i]);
        }
    }

    std::swap(fp_refined[0], fp[0]);
    std::swap(fp_refined[1], fp[1]);
}

在上面的代码中，我使用findFundamentalMat()了去除异常值，但是在结果img1和img2中仍然有一些错误的匹配。在图像中，每条绿线连接匹配的特征点对。请忽略红色标记。我找不到任何问题，谁能给我一些提示？提前致谢。

4

3 回答 3

1

RANSAC 只是稳健的估计器之一。原则上，可以使用其中的多种，但只要您的输入数据不受异常值支配，RANSAC 已被证明可以很好地工作。您可以查看 RANSAC 上的其他变体，例如 MSAC、MLESAC、MAPSAC 等，它们也具有其他一些有趣的属性。您可能会发现这个 CVPR 演示文稿很有趣（http://www.imgfsr.com/CVPR2011/Tutorial6/RANSAC_CVPR2011.pdf）

根据输入数据的质量，您可以估计最佳的 RANSAC 迭代次数，如此处所述 ( https://en.wikipedia.org/wiki/RANSAC#Parameters )

同样，它是稳健的估计方法之一。您可以采用其他统计方法，例如使用重尾分布、修剪最小二乘法等对数据进行建模。

在您的代码中，您缺少 RANSAC 步骤。RANSAC 基本上有两个步骤：

generate hypothesis (do a random selection of data points necessary to fit your mode: training data).
model evaluation (evaluate your model on the rest of the points: testing data)
iterate and choose the model that gives the lowest testing error.
于 2016-03-16T07:22:50.017 回答
0

RANSAC 代表 RANdom SAmple Consensus，它不去除异常值，它选择一组点来计算该组点的基本矩阵。然后，您需要使用刚刚使用 RANSAC 计算的基本矩阵进行重新投影，以去除异常值。

于 2016-03-16T06:52:51.793 回答
0

像任何算法一样，ransac 并不完美。您可以尝试运行其他（在 opencv 实现中）强大的算法，例如 LMEDS。您可以重申，使用最后标记为内点的点作为新估计的输入。您可以改变阈值和置信水平。我建议运行 ransac 1 ~ 3 次，然后运行 ​​LMEDS，这不需要阈值，但仅适用于至少 +50% 的内点。

而且，您可能会遇到几何顺序问题：

*如果两个立体声之间的基线太小，则基本矩阵估计可能不可靠，出于您的目的，可能更好地使用 findHomography()。

*如果您的图像有一些桶形/枕形失真，则它们不符合对极几何，并且基本矩阵不是链接匹配的正确数学模型。在这种情况下，您可能需要校准相机，然后运行 ​​undistort()，然后处理输出图像。

于 2016-03-16T11:23:33.760 回答