0

我有一个同时使用 realsense2 和 opencv2 库的 C++ 应用程序。我正在从两个 D415 相机中提取深度和 RGB 帧。我可以毫无问题地拼接 RGB 帧；但是，经过大量研究，我找不到任何有关如何将步骤从 RGB 帧缝合复制到深度帧的示例。有谁知道如何将缝合步骤从一个拼接作业（在我的情况下为 RGB）复制到另一个拼接工作（在我的情况下为深度）？

我在这里查看了 Stitcher 类参考文档：https ://docs.opencv.org/master/d2/d8d/classcv_1_1Stitcher.html

如果有人以前这样做过并且可以提供一些指导，那就太好了。

这是我用来缝合（缩短）的工作代码：

// Start a streaming pipeline for each connected camera

for (auto && device : context.query_devices())

{

    string serial = device.get_info(RS2_CAMERA_INFO_SERIAL_NUMBER);

    pipeline pipeline(context);

    config config;

    config.enable_device(serial);

    config.enable_stream(RS2_STREAM_COLOR, 1280, 720, RS2_FORMAT_BGR8, 15);

    config.enable_stream(RS2_STREAM_DEPTH, 1280, 720);

    config.enable_stream(RS2_STREAM_INFRARED, 1);

    pipeline.start(config);

    pipelines.emplace_back(pipeline);

    colorizers[serial] = colorizer();

}



map<int, frame> render_frames;



while(true)

{

    vector<Mat> mats;

    vector<frame> new_frames;

    for (auto && pipeline : pipelines)

    {

        frameset frameset = pipeline.wait_for_frames();

        if (frameset)

        {

            mats.push_back(frame_to_mat(frameset.get_color_frame()));

        }

    }

    Mat stitchedImage;

    Ptr<Stitcher> stitcher = Stitcher::create(Stitcher::PANORAMA);

    Stitcher::Status stitcherStatus = stitcher->stitch(mats, stitchedImage);

    if (stitcherStatus == Stitcher::OK)

    {

        imshow("Stitched Image", stitchedImage);
        auto k = waitKey(200);

    } else {

        cout << "Error stitching image.\n";

    }

}

谢谢！

4

2 回答 2

0

如果您忽略失真，那么拼接只是计算从一个图像原点到另一个图像原点的变换。从技术上讲，您已经拥有所需的一切。这是一个非常天真的方法。

在每台相机（在硬件规范中提供）内有：

depth_origin -> rgb_origin
("->" represents a transform)

OpenCV 拼接器可以估计两个 rgb 图像之间的转换，所以你有

cam1_rgb_origin -> cam2_rgb_origin

所以你可以计算：

cam1_depth -> cam1_rgb -> cam2_rgb -> cam2_depth

你的方法有点不寻常，但它可能足够有效，因为相机规格在 realsense 文档中提供，我认为每个传感器都很好对齐。

虽然有点警告：

一般来说，两台相机永远不会完全对齐。因此，对于更精细的解决方案，我会避免使用通过图像拼接计算的变换。我宁愿校准静态安装上的相机以获得外部相机参数。这只是从相机坐标原点 1 到相机坐标原点 2 的 3D 变换。使用此变换，您将在包含两个相机点的统一坐标系中创建传感器数据的 3D 点云。最后，您可以从您选择的任何角度将此点云渲染为深度图像，并将 rgb 图像投影到其上，以使其可用于您想要使用的人脸检测。相机校准可能是一件非常痛苦的事情，尤其是当相机的视角没有太多相交时。因此，如果您的结果还不够，请仅遵循这种精心设计的方法。

抱歉，由于时间关系，我无法详细说明。但我希望这能为您指明正确的方向。

于 2020-05-26T00:11:09.687 回答
0

英特尔 SDK 提供单个相机的深度和 RGB 之间的旋转和平移矩阵。使用该矩阵，您可以对齐深度和 rgb 数据。

对于多摄像头，校准多个摄像头并不像我们想象的那么容易。英特尔建议使用“vicalib”软件，您可以尝试一次。

于 2020-06-19T12:50:19.550 回答