opencv - 使用计算单应性将 2D 点从标记投影到图像

Question

我有一个平面标记，我在其中运行了SIFT算法来提取特征。然后我运行一个检测器在场景中找到这个标记并再次提取特征。我匹配点并使用 OpenCV 从匹配对中提取单应性findHomography()。

现在我想用计算的单应性投影在标记中检测到的 2D 点，以将位置与从场景中测量的 3D 点进行比较并计算重投影误差。我对像素坐标、厘米、校准矩阵感到困惑，我不知道我应该先进行哪些转换。

有人知道这方面的链接或可以解释该方法吗？

Answer 1

如果您调用单应矩阵 H，则相机矩阵 K（需要转换为像素）将是这样的，具体取决于您的分辨率。

Mat K= Mat::zeros(3,3,CV_32FC1);
K.at<float>(0,0)=500.0f;        
K.at<float>(0,2)=320.0f;      // width/2    
K.at<float>(1,1)=500.0f;    
K.at<float>(1,2)=240.0f;      // height/2 
K.at<float>(2,2)=1.0f;

如果您的标记点是 2D 的矢量点：

vector<Point2f> marker_point; //containing coordinates in centimeters

那么投影将是这样的，结果是像素坐标中的 3D 点。

Mat point(3,1,CV_32FC1);        
point.at<float>(0) = marker_point.x;
point.at<float>(1) = marker_point.y;
point.at<float>(2) = 1.0f;
point = H* point;
point = point/point.at<float>(2);       //Normalize
point = K* point;                   //to pixels