4

我从相机获取图像（已校准且没有镜头失真），我需要检测一个矩形物体。标记是一个很好的例子。对于标记，我检查角数、最小尺寸、板对比度和凸度。在存在大量错误矩形的情况下，我对如何改进这一点有了一个想法。这是一个示例图像：

图片

通常所有这些都是有效的，因为在不了解相机的情况下，我们无法确定透视是否允许这些形状。我知道现实生活中矩形的大小（或至少是比例）。所以我有一个想法，我应该能够通过重新投影它们并检查错误来忽略其中的许多形状。就像我使用 solvePnPRansac 一样，如果形状不可能，它将无法收敛。如果它不收敛，我只是无视它。可悲的是，没有一个 OpenCV 求解函数允许检查我是否有错误或收敛。我实际上需要一些比例或质量，因为某些矩形可能重叠。例如，我的对象查找器识别这些矩形：

重叠图像

这三个中的一个实际上是正确的，或者至少是“最好的”。但我需要一些方法来知道它是哪一个。由于相机的视角，我不能使用像线长这样的东西。所以我只是想我可以解决并看看哪个错误最小。

图像中没有镜头失真，但即使有solvePnP通常也允许将D传递给它。这甚至可能还是我错过了什么？我想我可以尝试破解solvePnPRansac只是为了返回收敛，但也许有更简单的方法？

4

1 回答 1

0

我想我可以做一些类似于在网格校准期间所做的事情。我可以计算重投影误差。所以首先我解决得到变换矩阵。然后我使用转换矩阵将点转换为 3D，然后使用 projectPoints 将它们投影回 2D。然后我检查原始二维点和投影二维点之间的距离。然后可以将其用于质量。不可能的对象在我的图像中通常有 100 像素或更多的重投影误差，但可能的对象小于 20 像素。所以我只是做了一个 25 像素的截止，它似乎工作正常。

请注意，比我更多的转换是可能的。在我的原始图像中，我目前的相机可能无法实现两个，但它仍然拒绝了很多假货。

如果没有其他人有任何想法，我会接受这个作为答案。

这是我使用的方法的一些代码：

  //This is the object in 3D
  double width = 50.0; //Object is 50mm wide
  double height = 30.0; //Object is 30mm tall
  cv::Mat object_points(4,3,CV_64FC1);
  object_points.at<double>(0,0)=0;
  object_points.at<double>(0,1)=0;
  object_points.at<double>(0,2)=0;
  object_points.at<double>(1,0)=width;
  object_points.at<double>(1,1)=0;
  object_points.at<double>(1,2)=0;
  object_points.at<double>(2,0)=width;
  object_points.at<double>(2,1)=height;
  object_points.at<double>(2,2)=0;
  object_points.at<double>(3,0)=0;
  object_points.at<double>(3,1)=height;
  object_points.at<double>(3,2)=0;

  //Check all rectangles for error
  cv::Mat image_points(4,2,CV_64FC1);
  for (size_t i = 0; i < rectangles_to_test.size(); i++) {
    // Get rectangle points
    for (size_t c = 0; c < 4; ++c) {
      image_points.at<double>(c,0) = (rectangles_to_test[i].points[c].x);
      image_points.at<double>(c,1) = (rectangles_to_test[i].points[c].y);
    }

    // Calculate transformation matrix
    cv::Mat rvec, tvec;
    cv::solvePnP(object_points, image_points, M1, D1, rvec, tvec);

    cv::Mat rotation; 
    Matrix4<double> transform;
    transform.init_identity();
    cv::Rodrigues(rvec, rotation);

    for(size_t row = 0; row < 3; ++row) {
      for(size_t col = 0; col < 3; ++col) {
        transform.set(row, col, rotation.at<double>(row, col));
      }
      transform.set(row, 3, tvec.at<double>(row, 0));
    }

    // Calculate projection
    std::vector<cv::Point3f> p3(4);
    std::vector<cv::Point2f> p2;
    Vector4<double> p = transform * Vector4<double>(0, 0, 0, 1);
    p3[0] = cv::Point3f((float)p.x, (float)p.y, (float)p.z);
    p = transform * Vector4<double>(width, 0, 0, 1);
    p3[1] = cv::Point3f((float)p.x, (float)p.y, (float)p.z); 
    p = transform * Vector4<double>(width, height, 0, 1);
    p3[2] = cv::Point3f((float)p.x, (float)p.y, (float)p.z); 
    p = transform * Vector4<double>(0, height, 0, 1);
    p3[3] = cv::Point3f((float)p.x, (float)p.y, (float)p.z); 

    cv::projectPoints(p3, cv::Mat::zeros(1, 3, CV_64FC1), cv::Mat::zeros(1, 3, CV_64FC1), M1, D1, p2);

    // Calculate reprojection error
    rectangles_to_test[i].reprojection_error = 0.0;
    for (size_t c = 0; c < 4; ++c) {
      double dx = p2[c].x - rectangles_to_test[i].points[c].x;
      double dy = p2[c].y - rectangles_to_test[i].points[c].y;
      rectangles_to_test[i].reprojection_error += std::sqrt(dx*dx + dy*dy);
    }
    if (rectangles_to_test[i].reprojection_error > reprojection_error_threshold) {
      //rectangle is no good
    }
  }
于 2017-01-23T19:04:06.110 回答