opencv - 使用 Kinect 进行 3D 对象跟踪检测

Question

我正在通过使用 Kinect 传感器来识别对象，以便获取对象的 x、y、z 坐标。

我正在尝试查找相关信息，但找不到太多。我也看过视频，但没有人分享信息或任何示例代码？这就是我想要实现的目标https://www.youtube.com/watch?v=nw3yix3XomY

可能很少有人会问同样的问题，但由于我是 Kinect 和这些库的新手，因此我需要更多指导。

我在某处读到使用 Kinect v1 无法进行对象检测。我们需要使用第三方库，例如开放式 CV 或点云 (pcl)。

有人可以帮助我，即使使用第三方库，我如何通过 Kinect 传感器准确识别对象？

这将非常有帮助。

谢谢你。

Answer 1

正如您在评论中所链接的视频的作者所述，遵循此PCL 教程将对您有所帮助。正如您已经发现的那样，使用独立 SDK 可能无法实现这一点。依靠 PCL 将帮助您避免重新发明轮子。

想法是：

1. 对云进行下采样，以便在接下来的步骤中处理更少的数据（这也减少了一点噪音）。
2. 识别关键点/特征（即对某些变换保持不变的点、区域、纹理）。
3. 计算关键点描述符，这些特征的数学表示。
4. 对于每个场景关键点描述符，在模型关键点描述符云中找到最近邻，并将其添加到对应向量中。
5. 对关键点进行聚类并检测场景中的模型。

教程中的软件需要用户手动输入模型和场景文件。它不会像您链接的视频那样在实时提要中执行此操作。

该过程应该非常相似。我不确定检测的 CPU 密集程度如何，因此可能需要额外的性能调整。

一旦您进行逐帧检测，您就可以开始考虑跨帧实际跟踪对象。但这是另一个话题。