11

我正在使用 OpenCV 校准使用带有鱼眼镜头的相机拍摄的图像。

我正在使用的功能是：

  • findChessboardCorners(...);找到校准图案的角落。
  • cornerSubPix(...);细化找到的角落。
  • fisheye::calibrate(...);校准相机矩阵和畸变系数。
  • fisheye::undistortImage(...);使用从校准中获得的相机信息使图像不失真。

虽然生成的图像看起来确实不错（直线等），但我的问题是该函数切除了太多图像。

这是一个真正的问题，因为我使用了四个摄像头，它们之间呈 90 度角，当这么多边被切掉时，它们之间没有重叠区域，因为我要缝合图像。

我研究过使用fisheye::estimateNewCameraMatrixForUndistortRectify(...)，但我无法得到好的结果，因为我不知道我应该输入什么作为R输入，因为旋转矢量输出fisheye::calibrate是 3xN（其中 N 是校准图像的数量）并且fisheye::estimateNewCameraMatrixForUndistortRectify需要1x3 或 3x3。

下面的图像显示了我的不失真结果的图像，以及我理想中想要的那种结果的示例。

不失真：

我的不失真

想要的结果示例：

想要的结果示例

4

5 回答 5

6

正如Paul Bourke 在这里提到的：

鱼眼投影不是“扭曲”的图像，该过程也不是“去扭曲”。像其他投影一样的鱼眼是将 3D 世界映射到 2D 平面的多种方式之一，它与其他投影（包括矩形透视投影）一样或多或少“扭曲”

要在没有图像裁剪的情况下进行投影（并且您的相机有 ~ 180度 FOV），您可以使用以下方式将鱼眼图像投影在正方形中：

鱼眼转矩形

源代码：

#include <iostream>
#include <sstream>
#include <time.h>
#include <stdio.h>
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/calib3d/calib3d.hpp>
#include <opencv2/highgui/highgui.hpp>

// - compile with:
// g++ -ggdb `pkg-config --cflags --libs opencv` fist2rect.cpp -o fist2rect
// - execute:
// fist2rect input.jpg output.jpg

 using namespace std;
 using namespace cv;
 #define PI 3.1415926536

 Point2f getInputPoint(int x, int y,int srcwidth, int srcheight)
 {
    Point2f pfish;
    float theta,phi,r, r2;
    Point3f psph;
    float FOV =(float)PI/180 * 180;
    float FOV2 = (float)PI/180 * 180;
    float width = srcwidth;
    float height = srcheight;

    // Polar angles
    theta = PI * (x / width - 0.5); // -pi/2 to pi/2
    phi = PI * (y / height - 0.5);  // -pi/2 to pi/2

    // Vector in 3D space
    psph.x = cos(phi) * sin(theta);
    psph.y = cos(phi) * cos(theta);
    psph.z = sin(phi) * cos(theta);

    // Calculate fisheye angle and radius
    theta = atan2(psph.z,psph.x);
    phi = atan2(sqrt(psph.x*psph.x+psph.z*psph.z),psph.y);

    r = width * phi / FOV;
    r2 = height * phi / FOV2;

    // Pixel in fisheye space
    pfish.x = 0.5 * width + r * cos(theta);
    pfish.y = 0.5 * height + r2 * sin(theta);
    return pfish;
}
int main(int argc, char **argv)
{
    if(argc< 3)
        return 0;
    Mat orignalImage = imread(argv[1]);
    if(orignalImage.empty())
    {
        cout<<"Empty image\n";
        return 0;
    }
    Mat outImage(orignalImage.rows,orignalImage.cols,CV_8UC3);

    namedWindow("result",CV_WINDOW_NORMAL);

    for(int i=0; i<outImage.cols; i++)
    {
        for(int j=0; j<outImage.rows; j++)
        {

            Point2f inP =  getInputPoint(i,j,orignalImage.cols,orignalImage.rows);
            Point inP2((int)inP.x,(int)inP.y);

            if(inP2.x >= orignalImage.cols || inP2.y >= orignalImage.rows)
                continue;

            if(inP2.x < 0 || inP2.y < 0)
                continue;
            Vec3b color = orignalImage.at<Vec3b>(inP2);
            outImage.at<Vec3b>(Point(i,j)) = color;

        }
    }

    imwrite(argv[2],outImage);

}
于 2018-11-27T12:59:23.467 回答
6

我想我遇到了类似的问题，在 getOptimalNewCameraMatrix 中寻找鱼眼的“alpha”结。

原图： 原来的

我用 cv2.fisheye.calibrate 对其进行了校准，得到了 K 和 D 参数

K = [[ 329.75951163    0.          422.36510555]
 [   0.          329.84897388  266.45855056]
 [   0.            0.            1.        ]]

D = [[ 0.04004325]
 [ 0.00112638]
 [ 0.01004722]
 [-0.00593285]]

这就是我得到的

map1, map2 = cv2.fisheye.initUndistortRectifyMap(K, d, np.eye(3), k, (800,600), cv2.CV_16SC2)
nemImg = cv2.remap( img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)

而且我认为它砍得太多了。我想看整个魔方

initUndistortRectifyMap/remap 与 K,D

我用

nk = k.copy()
nk[0,0]=k[0,0]/2
nk[1,1]=k[1,1]/2
# Just by scaling the matrix coefficients!

map1, map2 = cv2.fisheye.initUndistortRectifyMap(k, d, np.eye(3), nk, (800,600), cv2.CV_16SC2)  # Pass k in 1st parameter, nk in 4th parameter
nemImg = cv2.remap( img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)

多田！

这就是我要的

于 2017-05-16T19:02:03.440 回答
0

您需要使用fisheye::estimateNewCameraMatrixForUndistortRectifywith R=np.eye(3)(unit matrix) 并 balance=1获取所有像素：

new_K = cv2.fisheye.estimateNewCameraMatrixForUndistortRectify(K, D, dim, np.eye(3), balance=balance)
map1, map2 = cv2.fisheye.initUndistortRectifyMap(scaled_K, D, np.eye(3), new_K, dim, cv2.CV_32FC1)
# and then remap:
undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
于 2020-03-04T08:15:00.973 回答
0

你做得很好，你只需要使用来getOptimalNewCameraMatrix()设置newCameraMatrix。undistort()为了使所有像素可见，您必须设置alpha为 1 in getOptimalNewCameraMatrix()。

于 2015-12-16T15:57:41.893 回答
0

我堆积了同样的问题。如果您的相机的 FOV ~ 180 度，我认为您将无法 100% 地消除初始图像表面的失真。更详细的解释我放在这里

于 2018-02-19T10:37:53.200 回答