opencv - 如何使用激光雷达和相机找到“边界盒装”对象的位置？

Question

这个问题与我的最终项目有关。在凉亭模拟环境中，我试图检测障碍物的颜色并计算机器人与障碍物之间的距离。我目前正在借助 OpenCV 方法（带边界框的对象）识别它们的颜色，但我不知道如何计算它们之间的距离。我有我的机器人的位置。我不会使用立体声。我知道障碍物的大小。等待您的建议和想法。谢谢！

我的机器人的主题：

• 相机/相机/相机信息（类型：sensor_msgs/CameraInfo）
• 相机/相机/image_raw （类型：sensor_msgs/Image）
• 传感器/激光雷达/点（类型：sensor_msgs/PointCloud2）

Answer 1

您可以将点云投影到图像空间中，例如使用 OpenCV（如这里）。这样，您可以过滤图像空间中边界框内的所有点。当然，需要解决由于两个传感器之间的差异而导致的投影误差，例如，通过移除关于到 LiDAR 传感器距离的下四分位数和上四分位数点。最终，您可以使用剩余的点来估计距离。

我们有这样一个系统正在运行，它工作得很好。