1

我正在尝试在没有校准的情况下进行图像校正，只使用基本矩阵和使用 OpenCV 到目前为止我所做的事情：

  1. 使用 SURF 和 FLANN 描述符匹配器查找两个图像之间的匹配项

    列出 good_match = getGoodMatch(img1,img2); --> 搞定了，效果不错

  2. 获取 img1 和 img2 的匹配点

  3. 使用 8 个匹配点 (Calib3D.FM_8PPoint) 获取基本矩阵 Mat F = getFundamentalMatrix(matchesKeyPoint1,matchesKeyPoint2,good_match)
  4. 使用 StereorectufyUncalibrated OpenCV 获取 Homography 3x3 Matrix

我有来自 StereoRectifyUncalibrated 的单应矩阵 H1 和 H2，那么如何使用该单应矩阵来纠正我的真实图像？有什么方法可以知道基本矩阵和单应矩阵有很好的价值吗？到目前为止，SURF Image Matching 做得很好。有什么建议可以改善结果吗？

谢谢...

4

1 回答 1

4

纠正图像

给定一组 2D 点对应关系 X <-> X'，单应矩阵的变换是由 X' = H X 给出的H。这里X 和 X' 是齐次向量，这意味着 3D 向量 X' 和H X 不必相等，但它们的大小可以相差一个非零比例因子。

所以基本上我们想做的是将图像中的每个像素与单应矩阵相乘。此外，我们希望在转换后的像素之间应用某种插值，以便我们获得没有“空”像素的平滑图像。幸运的是，OpenCV 中存在这样的函数：cvWarpPerspective。

此函数（在OpenCV 2.0中）需要 4 个参数：

  • const CvArr* src - 源图像，即您要纠正的图像。
  • CvArr* dst - 目标图像，即校正后的结果。此图像应与源图像的图像类型相同。并且尺寸应该适合校正后的图像（见下一段）。
  • const CvMat* mapMatrix - 3 X 3 单应矩阵。
  • int flags - 插值方法（例如 CV_INTER_LINEAR）与标志 CV_WARP_FILL_OUTLIERS 和 CV_WARP_INVERSE_MAP 的组合。

要确定目标图像的大小，可以对corners源图像应用单应矩阵的变换，并使用变换后的点来确定大小。左上角的变换如下：

CvMat* point = cvCreateMat(3, 1, CV_64FC1);
CvMat* pointTransform = cvCreateMat(3, 1, CV_64FC1);

cvmSet(point, 0, 0, 0); // The x coordinate of the top left corner is 0.
cvmSet(point, 1, 0, 0); // The y coordinate of the top left corner is 0.
cvmSet(point, 2, 0, 1.0);

// Perform the homography transformation
cvMatMul(homography, point, pointTransform);

// Get the transformed corner's x and y coordinates.
double x = cvmGet(pointTransform, 0, 0) / cvmGet(pointTransform, 2, 0); // Divide by the scale factor s.
double y = cvmGet(pointTransform, 1, 0) / cvmGet(pointTransform, 2, 0); // Divide by the scale factor s.

// Release memory
cvReleaseMat(&point);
cvReleaseMat(&pointTransform);

接下来您应该注意的是，例如，像素 (0, 0) 可以转换为像素 (-5, -10)。如果您应用单应矩阵，然后尝试显示图像，它将无法正确显示。为了避免这种情况，您应该做的是根据校正图像的新角的位置计算一个 3 x 3平移矩阵。角落将为您提供信息，您必须将校正后的图像向上或向下和向左或向右移动多少像素。

然后，您可以将此转换矩阵与您找到的单应矩阵结合使用来计算最终的转换矩阵，如下所示：

// transformMat:
// [ 1 0 x ]
// [ 0 1 y ]
// [ 0 0 1 ]
// homography: Your homography matrix H1 or H2
// finalMatrix: the resulting matrix you will use in cvWarpPerspective.
// Compute the final transformation matrix based on homography matrix H1
// which can be used to rectify your first image.
cvMatMul(transformMat, H1, finalMatrix);

现在您可以使用 cvWarpPerspective 来转换您的图像：

cvWarpPerspective(image, rectifiedImage, finalMatrix, 
CV_INTER_LINEAR+CV_WARP_FILL_OUTLIERS);

请注意，您对第一张图像使用单应矩阵 H1，对第二张图像使用单应矩阵 H2。

基本矩阵和单应矩阵是否具有良好的值？

此外，要回答您的问题，看看基本矩阵F和单应矩阵H1和H2是否具有良好的值。基本矩阵F应满足对于任意一对对应点 X <-> X' 的条件：

X' F X = 0。

类似地，对于矩阵H1，应满足以下条件：

X' cross H1 X = 0，其中'cross'是叉积。

改善您的结果

为了进一步改善您的结果，您可以：

  • 使用不同的描述符来查找两个图像之间的匹配。例如参见SIFT和DAISY。
  • 使用RANSAC或LMS算法查找两个图像之间超过 8 个点的对应关系并过滤异常值（请参阅 cvFindFundamentalMatrix 中的选项 CV_FM_RANSAC 和CV_FM_LMEDS）。
于 2012-04-15T14:18:35.273 回答