12

我使用 4 个固定相机。相机不会相对于彼此移动。我想将它们中的视频图像实时拼接成一个视频图像。

我用于这个 OpenCV 2.4.10 和cv:stitcher类，如下所示：

// use 4 video-cameras
cv::VideoCapture cap0(0), cap1(1), cap2(2), cap3(3);

bool try_use_gpu = true;    // use GPU
cv::Stitcher stitcher = cv::Stitcher::createDefault(try_use_gpu);
stitcher.setWarper(new cv::CylindricalWarperGpu());
stitcher.setWaveCorrection(false);
stitcher.setSeamEstimationResol(0.001);
stitcher.setPanoConfidenceThresh(0.1);

//stitcher.setSeamFinder(new cv::detail::GraphCutSeamFinder(cv::detail::GraphCutSeamFinderBase::COST_COLOR_GRAD));
stitcher.setSeamFinder(new cv::detail::NoSeamFinder());
stitcher.setBlender(cv::detail::Blender::createDefault(cv::detail::Blender::NO, true));
//stitcher.setExposureCompensator(cv::detail::ExposureCompensator::createDefault(cv::detail::ExposureCompensator::NO));
stitcher.setExposureCompensator(new cv::detail::NoExposureCompensator());


std::vector<cv::Mat> images(4);
cap0 >> images[0];
cap1 >> images[1];
cap2 >> images[2];
cap3 >> images[3];

// call once!
cv::Stitcher::Status status = stitcher.estimateTransform(images);


while(true) {

    // **lack of speed, even if I use old frames**
    // std::vector<cv::Mat> images(4);
    //cap0 >> images[0];
    //cap1 >> images[1];
    //cap2 >> images[2];
    //cap3 >> images[3];

    cv::Stitcher::Status status = stitcher.composePanorama(images, pano_result);
}

我只有 10 FPS（每秒帧数），但我需要 25 FPS。我怎样才能加速这个例子？

当我使用stitcher.setWarper(new cv::PlaneWarperGpu());然后我得到一个非常放大的图像，我不需要这个。

我只需要 - 翻译。

例如，我准备不使用：

  • 透视变换
  • 规模经营
  • 甚至可能是 Rotations

我该怎么做？或者我如何从每个图像的翻译cv::Stitcher stitcher参数中获取？x,y

更新 - 在 Windows 7 x64 上的 MSVS 2013 中进行分析： 在此处输入图像描述

4

2 回答 2

14

cv::Stitcher相当慢。如果您的相机绝对不会相对于彼此移动并且转换就像您说的那样简单，那么您应该能够通过链接单应性将图像覆盖到空白画布上。

以下内容有点数学 - 如果不清楚，我可以使用 LaTeX 正确编写它，但 SO 不支持漂亮的数学 :)

你有一组 4 个摄像头，从左到右(C_1, C_2, C_3, C_4)，给出一组 4 个图像(I_1, I_2, I_3, I_4)。

要从 转换I_1为I_2，您有一个 3x3 转换矩阵，称为单应矩阵。我们称之为H_12. 同样，I_2对于I_3我们拥有H_23和对于I_3您I_4将拥有H_34。

您可以使用标准方法（重叠相机之间的点匹配）预先校准这些单应性。

您需要创建一个空白矩阵，作为画布。您可以猜测它的大小（4*image_size 就足够了），或者您可以取右上角（称为 this P1_tr）并通过三个单应性对其进行变换，在全景图的右上角给出一个新点，PP_tr（以下假设P1_tr已转换为矩阵）：

PP_tr = H_34 * H_23 * H_12 * P1_tr'

这是在做什么，P1_tr首先将其转换为相机 2，然后从C_2to 到C_3最后从C_3toC_4

您需要创建其中一个来组合图像 1 和 2、图像 1,2 和 3，最后是图像 1-4，我将它们分别称为V_12和。V_123V_1234

使用以下方法将图像变形到画布上：

cv::warpAffine(I_2, V_12, H_12, V_12.size( ));

然后对下一个图像执行相同的操作：

cv::warpAffine(I_3, V_123, H_23*H_12, V_123.size( ));
cv::warpAffine(I_4, V_1234, H_34*H_23*H_12, V_1234.size( ));

现在您有四个画布，它们都是 4 个组合图像的宽度，并且其中一个图像转换到每个图像的相关位置。

剩下的就是将转换后的图像合并到彼此上。这很容易使用感兴趣的区域来实现。

创建 ROI 掩码可以在帧捕获开始之前提前完成。

从与画布大小相同的空白（零）图像开始。将最左边的矩形的大小设置I_1为白色。这是您的第一张图片的蒙版。我们会调用它M_1。

接下来，为了获得第二个转换图像的掩码，我们执行

cv::warpAffine(M_1, M_2, H_12, M_1.size( ));
cv::warpAffine(M_2, M_3, H_23*H_12, M_1.size( ));
cv::warpAffine(M_3, M_4, H_34*H_23*H_12, M_1.size( ));

要将所有图像组合成一个全景图，您可以：

cv::Mat pano = zeros(M_1.size( ), CV_8UC3);
I_1.copyTo(pano, M_1);
V_12.copyTo(pano, M_2): 
V_123.copyTo(pano, M_3): 
V_1234.copyTo(pano, M_4):

您在这里所做的是将每个画布的相关区域复制到输出图像 pano - 一个快速操作。

您应该能够在 GPU 上完成所有这些操作，用' cv::gpu::Mats代替它的非 GPU 对应物。cv::Matscv::gpu::warpAffine

于 2015-04-01T20:54:21.643 回答
1

注意：我将这个答案作为尝试过的文档留下，因为我建议的方法似乎不起作用，而显然在使用 cv::Mat 时 GPU 已经在使用中。

尝试使用gpu::GpuMat：

std::vector<cv::Mat> images(4);
std::vector<gpu::GpuMat> gpuImages(4);
gpu::GpuMat pano_result_gpu;
cv::Mat pano_result; 
bool firstTime = true;

[...] 

cap0 >> images[0];
cap1 >> images[1];
cap2 >> images[2];
cap3 >> images[3];
for (int i = 0; i < 4; i++)
   gpuImages[i].upload(images[i]);
if (firstTime) {
    cv::Stitcher::Status status = stitcher.estimateTransform(gpuImages);
    firstTime = false;
    }
cv::Stitcher::Status status = stitcher.composePanorama(gpuImages, pano_result_gpu);
pano_result_gpu.download(pano_result);
于 2015-04-01T20:52:09.707 回答