1

在使用OpenCV的SIFT 描述符实现时，我遇到了一些令人困惑的情况。

我正在尝试测试各种特征检测器 + 描述符计算方法，因此我使用了cv::FeatureDetector和cv::DescriptorExtractor接口的组合，这使我可以简单地在不同的检测器方法和描述符之间进行更改。

在调用cv::DescriptorExtractor::compute(...)（单个图像的变体）时，文档说如果无法计算其描述符，则赋予算法的关键点数量可能会减少，我理解这样做的方式和原因。

但是，发生在我身上的是描述符计算后的关键点数量实际上增加了。显然是这样，我并没有试图阻止它发生，我只是希望能解释一下原因（只是一个直观的描述会很酷，尽管我更欣赏那些）。

我在没有任何代码的实际 OpenCV 周围有一层又一层的包装器（只是设置了一些本地非 OpenCV 标志），所以这是在它的底部调用的 OpenCV 代码：

cv::Ptr<cv::FeatureDetector> dect = cv::FeatureDetector::create("MSER");
cv::Mat input = cv::imread("someImg.ppm", 0);
std::vector<cv::KeyPoint> keypoints;
dect->detect(input, keypoints);

cv::Ptr<cv::DescriptorExtractor>deEx=cv::DescriptorCalculator::create("SIFT");

std::cout << "before computing, feats size " << keypoints.size() << std::endl;
// code to print out 10 features

cv::Mat desc;
deEx->compute(input, keypoints, desc);

std::cout << "after computing, feats size " << keypoints.size() << std::endl;
// code to print out 10 features

我在描述符计算之前和之后打印了前 10 个关键点，所以这里有一些具体的数字作为示例：

before computing, feats size 379
feat[0]: 10.7584 39.9262 176.526 0 12.5396
feat[1]: 48.2209 207.904 275.091 0 11.1319
feat[2]: 160.894 313.781 170.278 0 9.63786
feat[3]: 166.061 239.115 158.33 0 19.5027
feat[4]: 150.043 233.088 171.887 0 11.9569
feat[5]: 262.323 322.173 188.103 0 8.65429
feat[6]: 189.501 183.462 177.396 0 12.3069
feat[7]: 218.135 253.027 171.763 0 123.069
feat[8]: 234.508 353.236 173.281 0 11.8375
feat[9]: 234.404 394.079 176.23 0 8.99652
after computing, feats size 463
feat[0]: 10.7584 39.9262 13.1313 0 12.5396
feat[1]: 48.2209 207.904 69.0472 0 11.1319
feat[2]: 48.2209 207.904 107.438 0 11.1319
feat[3]: 160.894 313.781 9.57937 0 9.63786
feat[4]: 166.061 239.115 166.144 0 19.5027
feat[5]: 150.043 233.088 78.8696 0 11.9569
feat[6]: 262.323 322.173 167.259 0 8.65429
feat[7]: 189.501 183.462 -1.49394 0 12.3069
feat[8]: 218.135 253.027 -117.067 3 123.069
feat[9]: 218.135 253.027 7.44055 3 123.069

我可以从这个例子中看到，原来的feat[1]和feat[7]每个都跨越了两个新的关键点，但我没有看到任何合乎逻辑的解释来说明compute这样做的方法:(

我在这里给出的打印输出是使用MSER检测关键点，然后尝试计算SIFT描述符，但同样大小的增加也发生在检测到的STAR、SURF和SIFT（即 DoG）关键点上。我没有尝试将SIFT描述符更改为其他内容，但如果有人认为它与问题相关，我会尝试并在我的问题中对其进行编辑。

4

3 回答 3

5

首先，正如您在文档 cv::DescriptorExtractor::compute中看到的那样，采用std::vector<cv::Keypoints>in 参数 which in non const。这意味着这个向量可以被 修改cv::DescriptorExtractor::compute。在实践中，KeyPointsFilter::runByImageBorderand KeyPointsFilter::runByKeypointSize（两个non-const函数）将应用于向量，并将删除无法计算描述符的关键点。不会重新提取关键点。您应该发布您正在使用的几行代码以进行进一步诊断。

--

好吧，我终于找到了问题所在：cv::SiftDescriptorExtractor::compute方法调用SIFT::operator()（重新）计算特征的方向，并复制具有几个主要方向的点。解决方案可能是更改descriptorParams.recalculateAngles为 false。

于 2012-03-21T14:04:56.603 回答
2

看起来这是由于 OpenCV 使用了 Rob Hess 的 SIFT 实现，它有时会复制具有多个主要方向的关键点。

环顾 OpenCV 报告的错误就可以解决问题，这里报告了问题。

这不是一个错误，该行为在较新的版本中没有得到纠正，而是只是记录在案。由于我必须使用我现在使用的 OpenCV 版本（v2.1），因此我没有想到查看更新的文档以了解其他行为，因为旧文档中描述的行为对我来说是有意义的。

于 2012-03-21T16:32:10.710 回答
0

这不是错误，而是设计使然：

如果没有明确的单一主导方向，SIFT 会返回同一位置具有不同方向的多个兴趣点。通常，估计最多三个（取决于实际的图像块）方向。

于 2013-03-02T15:44:57.420 回答