问题标签 [keypoint]

在 OpenCV 中使用 BRISK 进行特征检测和描述时遇到性能问题。

基本上，我尝试匹配从这张图片中获得的所有描述符：

针对我从图像数据库中获得的所有描述符，使用基于 flann 的匹配器和 LSH 算法和 BRISK 进行特征检测和描述。

我的图像数据库由 242 张图像组成。在这 242 张图像中，有三张图像对应于上述“复杂”图像查询中分别拍摄的每个对象。

以下是用于 BRISK 检测的参数（默认 opencv 参数）：Treshold：30，Octaves：4，Pattern scale：1.0。

在使用最佳匹配技术进行 flann 匹配后（图像查询中的每个描述符都与其在数据库描述符集中的最近邻域相关联），我的算法输出按匹配百分比排序的数据库图像列表。以下是前四个结果：

1. 数据库中螺栓对应的图像：4 个匹配/15 个检测到的关键点 => 匹配百分比：26.7%。
2. 与数据库中的瓶子对应的图像有 4 个匹配 / 15 个检测到的关键点 => 匹配百分比：26.7%。
3. 数据库中螺栓对应的图像有 10 个匹配 / 59 个检测到的关键点 => 匹配百分比：16.9%。
4. 对应于图像查询中不存在的对象的图像：1 个匹配/16 个检测到的关键点 => 匹配百分比：16.7%。

我使用 ORB 作为特征检测和描述来比较这个结果。以下是使用的参数：特征数：2000，比例因子：1.2，金字塔级别数：8。

这是我得到的结果：

1. 数据库中螺栓对应的图像：576 个匹配/752 个检测到的关键点 => 匹配百分比：76.6%。
2. 与数据库中的瓶子对应的图像有 111 个匹配 / 189 个检测到的关键点 => 匹配百分比：58.7%。
3. 数据库中笔对应的图像有 124 个匹配 / 293 个检测到的关键点 => 匹配百分比：42.3%。
4. 对应于图像查询中不存在的对象的图像：2 个匹配/66 个检测到的关键点 => 匹配百分比：3%。

如您所见，使用 ORB 的结果要好得多。首先，在数据库中的每张图像上检测到更多的关键点，并且对于好的对象，匹配的百分比明显更好。此外，好对象的匹配百分比与错误对象的匹配百分比之间的差距更为显着。

我想知道为什么 BRISK 检测器检测到的关键点比 ORB 检测器少得多。我进行了不同的测试，以弄清楚如何使用 BRISK 检测器检测更多关键点（降低阈值，降低八度数）。我确实可以检测到更多的关键点，但与 ORB 检测器的区别仍然非常重要。你知道为什么 BRISK 检测器会有这样的行为吗？

我的 OpenCV 版本是 2.4.8，但我根据这些陈述尝试了 2.4.4 和 2.4.9 版本的 BRISK 检测部分：

http://code.opencv.org/issues/2491和BRISK 特征检测器在没有改进的情况下检测到零关键点。

我还尝试将 ORB 检测器与 BRISK 描述结合起来。匹配结果优于第一种方法（完全 BRISK），但比第二种方法（完全 ORB）差：

1. 数据库中螺栓对应的图像：529 个匹配/708 个检测到的关键点 => 匹配百分比：74.7%。
2. 与数据库中的瓶子对应的图像有 69 个匹配 / 134 个检测到的关键点 => 匹配百分比：51.5%。
3. 数据库中与笔对应的图像已匹配 93 / 247 个检测到的关键点 => 匹配百分比：37.6%。
4. 对应于图像查询中不存在的对象的图像：5 个匹配/50 个检测到的关键点 => 匹配百分比：10%。

请注意，在方法 2 和方法 3 中，在每个图像上检测到的关键点数量并不相同。实际上，当我在测试图像（这里是螺栓的图像）上运行此代码时：

BRISK 似乎没有计算描述符中所有检测到的关键点（ORB 检测器检测到的 752 个关键点 => BRISK 描述符计算的 708 个描述符）。

然而，即使 ORB 检测到的所有关键点都不是在 BRISK 描述符中计算的。从这些结果看来，BRISK 不是比 ORB 更好地描述一个关键点吗？如果我错了，请纠正我，但我很确定应该是相反的......

如果你们有任何可以帮助我理解我的结果的元素，或者如果你已经在 OpenCV 中遇到了 BRISK 的一些问题，请告诉我。任何帮助将不胜感激 ：）。

我一直试图让一些特征检测和匹配算法工作（我寻求手），但它们给我的结果很差。我找到了一个用于特征检测和匹配的模板代码，它使用单应矩阵和透视变换在场景图片（即相机输入）中定位匹配的模板对象。我一直在寻找参数校准或可能有帮助的东西，但我找不到太多信息，我在代码中使用的信息来自互联网上的不同站点。我通常会得到错误的结果，算法“认为”他们找到了足够好的匹配来绘制找到的对象。不幸的是，我几乎没有得到好的结果，要做到这一点，我通常需要一个同质的背景。我使用高斯平滑或中值滤波器作为预处理。我希望您对此有一些经验，并且可以帮助解决我可能不太了解的问题，参数化错误或不同的方法。谢谢！

这是一些图片： 未经预处理， 模板图像

这是我的代码（我写了评论）：

我正在尝试使用 OpenCV 在 iOS 上图像的关键点处生成描述符。我已经使用自己的算法完成了特征检测，现在想在这些点提取描述符。

我实现了以下代码来做到这一点：

但是，在我运行“计算”功能后，描述符 Mat 始终为空。所有的指针都只是 NULL，虽然我可以清楚地看到 keyPoints 数组在我运行后减小了大小。这意味着它正在删除无法提取描述符的关键点。

我认为这是我的实现，所以我使用了内置检测器 (SurfDetector) 并从 OpenCV FREAK 示例中复制了实现。但我最终得到了相同的结果。

是否还有其他人有问题，或者我错过了 OpenCV 中的一些基本内容？

编辑：

所以我进一步追查了这个问题。看来通过引用传递并没有改变原始的 cv::Mat 数据结构。

计算函数的函数声明如下所示：

computeImpl 是实际计算描述符的函数。在我的情况下，简要描述符。

当computeImpl函数返回描述符变量是我所期望的。它已被初始化并包含我想要的数据。但是，当DescriptorExtractor::compute方法返回时，新的描述符结构不会传递回我的主代码，即使它是按引用传递的方法。

这可能是什么原因造成的？

编辑2：

这是我在调试期间观察变量的一些屏幕截图。

函数返回之前的 .compute 函数中的描述符 Mat

就在 .compute 函数返回到我的调用函数之后

根据 OpenCV KeyPoint文档，response每个关键点中都有一个字段：

浮动响应：选择最强关键点的响应。

但是我找不到更大的响应是更好还是更少？我想对关键点进行排序并只选择最好的 20 个。

我花了几个月的时间研究和实验关键点检测、描述和匹配的过程。在上一期中，我还研究了增强现实背后的概念，即“无标记”识别和姿势估计。

幸运的是，我发现之前的概念在这个环境中仍然被广泛使用。以下是创建基本增强现实的常用管道，无需详细介绍每种所需算法：

在拍摄视频时，在每一帧...

1. 获取一些关键点并创建它们的描述符
2. 在这些点与之前保存的“标记”（如照片）中的点之间找到一些匹配项
3. 如果匹配足够，估计可见对象的位姿并玩弄它

也就是说，例如，这个学生（？）项目使用的一个非常简化的过程。

现在的问题是：在我的个人研究中，我还发现了另一种称为“光流”的方法。我仍处于研究的开始阶段，但首先我想知道它与以前的方法有多大不同。具体来说：

• 它背后的主要概念是什么？它是否使用之前大致描述的算法的“子集”？
• 在计算成本、性能、稳定性和准确性方面的主要区别是什么？（我知道这可能是一个过于笼统的问题）
• 其中哪一种在商业 AR 工具中使用得更多？（junaio，Layar，...）

谢谢你的合作。

我一直在从事图像处理和机器人技术的自我项目，其中机器人像往常一样检测颜色并挑选对象，它试图检测板上的孔（类似于不同的多边形）。为了更好地理解设置，这里有一张图片：

如您所见，我必须检测这些孔，找出它们的形状，然后使用机器人将物体放入孔中。我正在使用 kinect 深度相机来获取深度图像。图片如下所示：

我一直在思考如何用相机检测孔，最初使用遮罩根据深度测量去除背景部分和一些前景部分，但这并没有奏效，因为在相机的不同方向上孔会与电路板合并......类似于inranging（它完全变成白色）。然后我遇到了adaptiveThreshold功能

使用腐蚀、膨胀和高斯模糊去除噪声；它以更好的方式检测到孔，如下图所示。然后我使用了 cvCanny 边缘检测器来获取边缘，但到目前为止效果并不好，如下图所示。在此之后，我尝试了 SIFT、SURF、ORB、GoodFeaturesToTrack 的各种特征检测器，发现 ORB 给出了最好的时间和检​​测到的特征。在此之后，我尝试通过找到查询图像的关键点并匹配这些关键点来获得查询图像的相对相机姿态，以便为findHomography函数提供良好的匹配。结果如下图所示：

最后，我想获得两个图像之间的相对相机位姿，并使用从solvePnP函数获得的旋转和平移向量将机器人移动到该位置。

那么有没有其他方法可以提高为关键点检测和匹配检测到的孔的质量？

我也尝试过轮廓检测和 approxPolyDP，但近似的形状不是很好：

我已经尝试调整阈值和精明函数的输入参数，但这是我能得到的最好的

另外，我获得相机姿势的方法是否正确？

更新：无论我尝试什么，我都无法获得良好的可重复特征来映射。然后我在网上读到深度图像的分辨率很便宜，它只用于掩蔽和获取距离之类的东西。所以，我觉得这些功能不合适，因为低分辨率的图像边缘凌乱。所以我想到了检测 RGB 图像上的特征并使用深度图像来仅获取这些特征的距离。我得到的功能质量简直出乎意料。它甚至检测到板上的螺丝！以下是使用 GoodFeaturesToTrack 关键点检测检测到的关键点。. 我在获取距离时遇到了另一个障碍，点的距离没有正确显示。我搜索了可能的原因，过了一段时间后我发现由于相机之间的偏移，RGB 和深度图像中存在偏移。您可以从前两张图像中看到这一点。然后我在网上搜索了如何补偿这个偏移量，但找不到可行的解决方案。

如果你们中的任何一个人可以帮助我补偿偏移量，那就太好了！

更新：我无法充分利用 goodFeaturesToTrack 功能。该函数以 Point2f 类型给出角点。如果要计算描述符，我们需要关键点，并使用下面的代码片段将 Point2f 转换为关键点会导致尺度和旋转不变性的损失。

特征匹配的可怕结果如下所示。

我现在必须开始进行不同的功能匹配。我会发布进一步的更新。如果有人可以帮助解决偏移问题，那将非常有帮助。

首先，我不得不说我是计算机视觉领域的新手，我目前面临一个问题，我试图用 opencv（Java Wrapper）解决但没有成功。

基本上，我有一张由相机拍摄的模型中的零件图片（不同的角度、分辨率、旋转......），我需要找到该零件在模型中的位置。

示例图片：

模型图片：

所以一个问题是：我应该从哪里开始/我应该使用哪种算法？

我的第一次尝试是使用 SURF 作为检测器、描述符和 BF 作为匹配器的关键点匹配。它适用于大约 10 个图像中的 2 个。我使用默认参数并尝试了其他检测器，但没有任何改进。（也许是参数正确的问题。但是如何找出正确的参数并结合正确的算法呢？...）两个例子：

我的第二次尝试是使用颜色来区分模型中的某些元素，并将结构与模型本身进行比较（除了模型的图片，我还有模型的 xml 表示形式..）。现在我从图像中提取了红色，手动调整了 h,s,v 值以获得大约 4 张图片的最佳检测，其他图片则失败。

两个例子：

我还尝试使用边缘检测（canny、gray、with histogramm Equalization）来检测几何结构。对于我可以想象的某些结果，它会起作用，但是对其他图片使用相同的精明参数“失败”。两个例子：

正如我所说，我不熟悉计算机视觉，只是尝试了一些算法。我面临的问题是，我不知道哪种算法和技术组合是最好的，以及我应该使用哪些参数。手动测试似乎是不可能的。

提前致谢

杰莫拉

我有一个非常奇怪的问题。我正在使用此代码检测另一个图像（java opencv）中的图像：

更新代码：

如果我在我正在运行的应用程序中运行 startRecognition 方法两次（opencv 库在启动时加载），我会得到相同的识别结果。对于第三次尝试，它检测其他关键点并计算另一个变换矩阵 (hg)。例子：

第二次尝试后：

第三次之后：

谁能解释为什么？或者告诉我如何预防？当我重新启动整个程序时，它会再次检测到 2 次正确，然后发生变化。经过几次尝试后，它将再次计算正确的 hg（从第一次和第二次尝试）。我不明白为什么会这样。

提前致谢

杰莫拉

我正在使用 VLfeat 开源来提取 SIFT 关键点及其描述。下图显示了其中之一。黄色圆盘表示关键点的比例（半径）和方向（线）。绿色框表示其描述（即 4x4 8-bin 方向直方图）。

问题本身很简单。为什么“关键点的方向（黄线）”与“描述中的主要（最常见）方向（绿色中最流行的 bin）”不同？

据我了解，关键点的方向由周围的峰值像素梯度决定。那么，方向也显示为绿色不是很自然吗？是不是因为绿框比关键点的比例大很多？

_{（来源：年轻的 me.berkeley.edu）}

我正在尝试编写一个函数来匹配 ORB 功能。我没有使用默认匹配器（bfmatcher、flann 匹配器），因为我只想将图像中的特定特征与其他图像中的特征匹配。

我看到 ORS 描述符它是一个二进制数组。

我的查询是如何匹配 2 个特征，即如何找到 2 个描述符之间的汉明距离？

ORB 描述符：

谢谢。