16

我正在尝试使用 OpenCV 拼接器类从立体设置中拼接多个帧，其中两个相机都不会移动。跨多个帧运行时，我的拼接结果很差。我尝试了几种不同的方法，我将在这里尝试解释。

使用stitcher.stitch( )

给定一对立体视图，我为某些帧运行了以下代码（VideoFile是 OpenCVVideoCapture对象的自定义包装器）：

VideoFile f1( ... );
VideoFile f2( ... );
cv::Mat output_frame;
cv::Stitcher stitcher = cv::Stitcher::createDefault(true);

for( int i = 0; i < num_frames; i++ ) {
    currentFrames.push_back(f1.frame( ));
    currentFrames.push_back(f2.frame( ));
    stitcher.stitch( currentFrames, output_mat );

    // Write output_mat, put it in a named window, etc...

    f1.next_frame();
    f2.next_frame();
    currentFrames.clear();
}

这在每一帧上都给出了非常好的结果，但由于参数是在视频中的每一帧估计的，你可以看到参数略有不同的拼接中的微小差异。

使用estimateTransform( )&composePanorama( )

为了克服上述方法的问题，我决定尝试仅在第一帧上估计参数，然后使用composePanorama( )拼接所有后续帧。

for( int i = 0; i < num_frames; i++ ) {
    currentFrames.push_back(f1.frame( ));
    currentFrames.push_back(f2.frame( ));

    if( ! have_transform ) {
        status = stitcher.estimateTransform( currentFrames );
    }

    status = stitcher.composePanorama(currentFrames, output_frame );

    // ... as above
}

可悲的是，似乎有一个错误（在此处记录）导致两个视图以一种非常奇怪的方式分开，如下图所示：

第一帧： 第一帧

第 2 帧： 第 2 帧

...

第 8 帧： 第 8 帧

composePanorama()显然这是没用的，但我认为这可能只是因为错误，它基本上每次调用时都会将内在参数矩阵乘以一个常数。所以我对这个错误做了一个小补丁，阻止了这种情况的发生，但是拼接结果很差。补丁下方（modules/stitching/src/stitcher.cpp），之后的结果：

243             for (size_t i = 0; i < imgs_.size(); ++i)
244             {
245                 // Update intrinsics
246                // change following to *=1 to prevent scaling error, but messes up stitching.
247                 cameras_[i].focal *= compose_work_aspect;
248                 cameras_[i].ppx *= compose_work_aspect;
249                 cameras_[i].ppy *= compose_work_aspect;

结果： 第 3 帧 帧 4

有谁知道我该如何解决这个问题？基本上我需要进行一次转换，然后在剩余的帧上使用它（我们正在谈论 30 分钟的视频）。

理想情况下，我正在寻找一些关于修补缝合器类的建议，但我愿意尝试手动编写不同的解决方案。较早的尝试涉及查找 SURF 点、关联它们和查找单应性，与拼接器类相比，结果相当差，所以如果可能的话，我宁愿使用它。

4

1 回答 1

5

所以最后，我修改了stitcher.cpp 代码并得到了一些接近解决方案的东西（但并不完美，因为缝合线仍然移动很多，所以你的里程可能会有所不同）。

更改为stitcher.hpp

setCameras()在第 136 行添加了一个新函数：

void setCameras( std::vector<detail::CameraParams> c ) {

     this->cameras_ = c;
 }`

添加了一个新的私有成员变量来跟踪这是否是我们的第一个估计：

bool _not_first;

更改为stitcher.cpp

在estimateTransform()（〜100行）：

this->not_first = 0;
images.getMatVector(imgs_);
// ...

在composePanorama()（〜227行）：

// ...
compose_work_aspect = compose_scale / work_scale_;

// Update warped image scale
if( !this->not_first ) { 
    warped_image_scale_ *= static_cast<float>(compose_work_aspect);
    this->not_first = 1;
}   

w = warper_->create((float)warped_image_scale_);
// ...

代码调用stitcher对象：

所以基本上，我们创建一个拼接器对象，然后在第一帧上获取变换（将相机矩阵存储在拼接器类之外）。然后，缝合器将沿着线的某处打破内在矩阵，导致下一帧混乱。所以在我们处理它之前，我们只是使用我们从类中提取的那些来重置相机。

请注意，如果缝合器无法使用默认设置生成估计值，我必须进行一些错误检查 - 您可能需要setPanoConfidenceThresh(...)在获得结果之前使用迭代降低置信度阈值。

cv::Stitcher stitcher = cv::Stitcher::createDefault(true);
std::vector<cv::detail::CameraParams> cams;
bool have_transform = false;

for( int i = 0; i < num_frames; i++ ) {
        currentFrames.push_back(f1.frame( ));
        currentFrames.push_back(f2.frame( ));

        if( ! have_transform ) {
            status = stitcher.estimateTransform( currentFrames );
            have_transform = true;
            cams = stitcher.cameras();

            // some code to check the status of the stitch and handle errors...
        }

        stitcher.setCameras( cams );
        status = stitcher.composePanorama(currentFrames, output_frame );

        // ... Doing stuff with the panorama
}

请注意，这在很大程度上是对 OpenCV 代码的破解，这将使更新到较新版本变得很痛苦。不幸的是，我的时间不多了，所以我只能做一个讨厌的黑客攻击！

于 2013-05-21T11:12:26.450 回答