以前有与我的问题相关的问题（here、here和here），但是我的问题与它有不同的方面，我在之前提出的任何问题中都没有看到。
我使用 Kinect 深度传感器为我的研究获取了一个数据集。该数据集的格式为 .png 图像，用于特定时刻的深度和 rgb 流。为了给你更多的想法，下面是框架：
编辑：我在这里添加边缘检测输出。
Sobel 边缘检测输出：
RGB 图像
深度图像
现在我要做的是对齐这两个帧，给我一个组合的 RGBZ 图像。
我不了解潜在的相机特性或 RGB 和红外传感器之间的距离。
有没有一种方法可以将 RGB 值与相应的 Z 值匹配？
我的想法之一是在两个图像中使用边缘并尝试匹配它们。
这适用于那些遇到同样问题的人。我认为分享我的发现可能会有所帮助。
正如比尔所说，相机校准是解决这个问题的最佳方法。
但是我发现，使用单应性和极线，这两个图像都可以对齐。这需要两个图像中至少有 8 个匹配特征。这是处理深度图像时的一个难题。
已经有几次尝试校准这些图像，可以在这里找到，这里都需要校准模式来校准。我试图实现的是对齐已经捕获的深度和 rgb 图像，这可以通过我校准来自我曾经记录的同一个 kinect 传感器的参数来完成。
我发现解决此问题的最佳方法是使用OpenNI和Kinect SDK中的内置库函数对齐图像。
一般来说，你试图从一对 RGB 和深度图像中做的事情是不平凡的和不明确的。作为人类，我们可以识别 RGB 图像中的手臂，并能够将其与深度图像中靠近相机的区域相关联。然而，计算机没有关于它期望 RGB 图像的哪些部分对应于深度图像的哪些部分的先验知识。
这种对齐的大多数算法使用相机校准的原因是这个过程允许这个不适定问题变得适定。
但是，仍然有办法找到对应关系，特别是如果您有很多来自同一个 Kinect 的图像对。然后，您只需搜索一组转换参数。我不知道任何现有的算法可以做到这一点，但是正如您在问题中指出的那样，您可能会发现类似对两个图像进行边缘检测并尝试对齐边缘图像的好地方。
最后，请注意，当物体靠近 Kinect 时，RGB 和深度图像之间的对应关系可能会变差，即使在图像经过校准之后也是如此。您可以在图像中看到一些这种效果 - 手在示例深度图像中产生的“阴影”在某种程度上表明了这一点。