我一直在从事图像处理和机器人技术的自我项目，其中机器人像往常一样检测颜色并挑选对象，它试图检测板上的孔（类似于不同的多边形）。为了更好地理解设置，这里有一张图片：
如您所见，我必须检测这些孔，找出它们的形状，然后使用机器人将物体放入孔中。我正在使用 kinect 深度相机来获取深度图像。图片如下所示：
我一直在思考如何用相机检测孔，最初使用遮罩根据深度测量去除背景部分和一些前景部分，但这并没有奏效，因为在相机的不同方向上孔会与电路板合并......类似于inranging（它完全变成白色）。然后我遇到了adaptiveThreshold功能
adaptiveThreshold(depth1,depth3,255,ADAPTIVE_THRESH_GAUSSIAN_C,THRESH_BINARY,7,-1.0);
使用腐蚀、膨胀和高斯模糊去除噪声；它以更好的方式检测到孔，如下图所示。然后我使用了 cvCanny 边缘检测器来获取边缘，但到目前为止效果并不好，如下图所示。在此之后，我尝试了 SIFT、SURF、ORB、GoodFeaturesToTrack 的各种特征检测器，发现 ORB 给出了最好的时间和检测到的特征。在此之后，我尝试通过找到查询图像的关键点并匹配这些关键点来获得查询图像的相对相机姿态，以便为findHomography函数提供良好的匹配。结果如下图所示：
最后，我想获得两个图像之间的相对相机位姿，并使用从solvePnP函数获得的旋转和平移向量将机器人移动到该位置。
那么有没有其他方法可以提高为关键点检测和匹配检测到的孔的质量？
我也尝试过轮廓检测和 approxPolyDP，但近似的形状不是很好：
我已经尝试调整阈值和精明函数的输入参数，但这是我能得到的最好的
另外，我获得相机姿势的方法是否正确？
更新：无论我尝试什么，我都无法获得良好的可重复特征来映射。然后我在网上读到深度图像的分辨率很便宜，它只用于掩蔽和获取距离之类的东西。所以，我觉得这些功能不合适，因为低分辨率的图像边缘凌乱。所以我想到了检测 RGB 图像上的特征并使用深度图像来仅获取这些特征的距离。我得到的功能质量简直出乎意料。它甚至检测到板上的螺丝！以下是使用 GoodFeaturesToTrack 关键点检测检测到的关键点。
. 我在获取距离时遇到了另一个障碍，点的距离没有正确显示。我搜索了可能的原因，过了一段时间后我发现由于相机之间的偏移，RGB 和深度图像中存在偏移。您可以从前两张图像中看到这一点。然后我在网上搜索了如何补偿这个偏移量，但找不到可行的解决方案。
如果你们中的任何一个人可以帮助我补偿偏移量，那就太好了！
更新：我无法充分利用 goodFeaturesToTrack 功能。该函数以 Point2f 类型给出角点。如果要计算描述符，我们需要关键点，并使用下面的代码片段将 Point2f 转换为关键点会导致尺度和旋转不变性的损失。
for( size_t i = 0; i < corners1.size(); i++ )
{
keypoints_1.push_back(KeyPoint(corners1[i], 1.f));
}
特征匹配的可怕结果如下所示
。
我现在必须开始进行不同的功能匹配。我会发布进一步的更新。如果有人可以帮助解决偏移问题，那将非常有帮助。