8

该应用程序的重点是从已设置的图像列表中识别图像。图像列表已将其 SIFT 描述符提取并保存在文件中。这里没有什么有趣的：

std::vector<cv::KeyPoint> detectedKeypoints;
cv::Mat objectDescriptors;

// Extract data
cv::SIFT sift;
sift.detect(image, detectedKeypoints);
sift.compute(image, detectedKeypoints, objectDescriptors);

// Save the file
cv::FileStorage fs(file, cv::FileStorage::WRITE);
fs << "descriptors" << objectDescriptors;
fs << "keypoints" << detectedKeypoints;
fs.release();

然后设备拍照。SIFT 描述符以相同的方式提取。现在的想法是将描述符与文件中的描述符进行比较。我正在使用来自 OpenCV 的 FLANN 匹配器来做到这一点。我正在尝试逐个图像地量化相似度。在浏览完整个列表之后，我应该有最好的匹配。

const cv::Ptr<cv::flann::IndexParams>& indexParams = new cv::flann::KDTreeIndexParams(1);
const cv::Ptr<cv::flann::SearchParams>& searchParams = new cv::flann::SearchParams(64);

// Match using Flann
cv::Mat indexMat;
cv::FlannBasedMatcher matcher(indexParams, searchParams);
std::vector< cv::DMatch > matches;
matcher.match(objectDescriptors, readDescriptors, matches);

匹配后，我了解到我得到了特征向量之间最近发现距离的列表。我找到了最小距离，使用它我可以计算“好匹配”，甚至可以得到相应点的列表：

// Count the number of mathes where the distance is less than 2 * min_dist
int goodCount = 0;
for (int i = 0; i < objectDescriptors.rows; i++)
{
    if (matches[i].distance <  2 * min_dist)
    {
        ++goodCount;
        // Save the points for the homography calculation
        obj.push_back(detectedKeypoints[matches[i].queryIdx].pt);
        scene.push_back(readKeypoints[matches[i].trainIdx].pt);
    }
}

我展示代码的简单部分只是为了让这更容易理解，我知道其中一些不需要在这里。

继续，我希望像这样简单地计算好匹配的数量就足够了，但结果主要只是将我指向具有最多描述符的图像。在此之后我尝试的是计算单应性。目的是计算它并查看它是否是有效的同态。希望是一个好的匹配，并且只有一个好的匹配，会有一个好的转换的单应性。创建单应性只需在obj和场景上使用cv::findHomography 即可，它们是std::vector< cv::Point2f>。我使用我在网上找到的一些代码检查了单应性的有效性：

bool niceHomography(cv::Mat H)
{
    std::cout << H << std::endl;

    const double det = H.at<double>(0, 0) * H.at<double>(1, 1) - H.at<double>(1, 0) * H.at<double>(0, 1);
    if (det < 0)
    {
        std::cout << "Homography: bad determinant" << std::endl;
        return false;
    }

    const double N1 = sqrt(H.at<double>(0, 0) * H.at<double>(0, 0) + H.at<double>(1, 0) * H.at<double>(1, 0));
    if (N1 > 4 || N1 < 0.1)
    {
        std::cout << "Homography: bad first column" << std::endl;
        return false;
    }

    const double N2 = sqrt(H.at<double>(0, 1) * H.at<double>(0, 1) + H.at<double>(1, 1) * H.at<double>(1, 1));
    if (N2 > 4 || N2 < 0.1)
    {
        std::cout << "Homography: bad second column" << std::endl;
        return false;
    }

    const double N3 = sqrt(H.at<double>(2, 0) * H.at<double>(2, 0) + H.at<double>(2, 1) * H.at<double>(2, 1));
    if (N3 > 0.002)
    {
        std::cout << "Homography: bad third row" << std::endl;
        return false;
    }

    return true;
}

我不明白这背后的数学，所以在测试时，我有时用简单的检查单应性的行列式是否为正来替换这个函数。问题是我一直在这里遇到问题。单应性要么都是坏的，要么是不应该的（当我只检查行列式时）。

我想我应该实际使用单应性，并且对于一些点，只需使用它们在源图像中的位置来计算它们在目标图像中的位置。然后我会比较这些平均距离，理想情况下，在正确图像的情况下，我会得到一个非常明显更小的平均距离。这根本不起作用。所有的距离都是巨大的。我想我可能已经反过来使用单应性来计算正确的位置，但是相互切换obj和场景会得到类似的结果。

我尝试过的其他事情是 SURF 描述符而不是 SIFT，BFMatcher（蛮力）而不是 FLANN，根据最小距离为每个图像获取n 个最小距离而不是一个数字，或者根据全局最大距离获取距离。这些方法都没有给我明确的好结果，我现在感觉卡住了。

我唯一的下一个策略是锐化图像，甚至使用一些局部阈值或一些用于分割的算法将它们变成二值图像。我正在寻找任何人都可以在我的工作中看到的任何建议或错误。

我不知道这是否相关，但我添加了一些我正在测试的图像。很多时候，在测试图像中，大多数 SIFT 向量来自帧（对比度更高）而不是绘画。这就是为什么我认为锐化图像可能会起作用，但我不想更深入，以防我以前做的事情是错误的。

图像库在这里，标题中有描述。图像分辨率很高，请查看以防提供一些提示。

4

2 回答 2

1

您可以尝试测试匹配时，源图像和目标图像之间的线条是否相对平行。如果它不是一个正确的匹配，那么你会有很多噪音并且线条不会平行。

请参阅显示正确匹配的附加图像（使用 SURF 和 BF）-所有线大多是平行的（尽管我应该指出这是一个简单的示例）。

在此处输入图像描述

于 2014-05-14T14:51:44.453 回答
0

你走的是正确的路。

首先，使用第二个最接近的比率而不是“2*min_dist 的良好匹配” https://stackoverflow.com/a/23019889/1983544。

其次，以其他方式使用单应性。当你找到单应性时，你不仅有 H 矩阵，还有与之一致的对应数量。检查它是否是一个合理的数字，比如 >=15。如果小于，则不匹配对象。

第三，如果您的视点变化很大，SIFT 或 SURF 无法匹配图像。尝试改用 MODS（http://cmp.felk.cvut.cz/wbs/这里是 Windows 和 Linux 二进制文件，以及描述算法的论文）或 ASIFT（慢得多，匹配差得多，但开源）http： //www.ipol.im/pub/art/2011/my-asift/

或者至少使用 MSER 或 Hessian-Affine 检测器而不是 SIFT（保留 SIFT 作为描述符）。

于 2014-05-14T13:56:54.447 回答