我正在创建一个 AR 应用程序,它跟踪特征、计算单应性,然后从 3D-2D 点对应关系中获取对象的姿势,并使用它来渲染任何 3D 对象。
我正在选择一个特定区域来检测源图像上的特征(通过遮罩)。然后将其与在后续帧上检测到的特征进行匹配。然后我过滤这些匹配并估计未屏蔽区域的单应性。
问题在于单应性估计。它每次都不同(非常轻微,但仍然不同)。效果是:即使我的相机保持静止,我也会在我的跟踪区域周围得到一个振动矩形,我使用估计的单应性绘制它。
我已经发布了一个题为“ 使用 ORB 进行不稳定的单应性估计”的问题,并对我正在考虑的一个事实感到放心(如果该区域的位置与其上一个位置相似,则不重新计算我的单应性)。
然而,我最近知道了卡尔曼滤波器,它通过将我们的先验知识与我们的测量观察相结合,可以更好地估计位置。
因此,在查看了各种示例(特别是http://www.youtube.com/watch?v=GBYW1j9lC1I)之后,我为我的场景建模了一个卡尔曼滤波器(而不是 4 个,用于矩形区域的每个点) :
m_KF1.init(4, 2, 1);
setIdentity(m_KF2.transitionMatrix);
m_measurement1 = Mat::zeros(2,1,cv::DataType<float>::type);
m_KF1.statePre.setTo(0);
m_KF1.controlMatrix.setTo(0);
//initialzing filter
m_KF1.statePre.at<float>(0) = m_scene_corners[1].x; //the first reading
m_KF1.statePre.at<float>(1) = m_scene_corners[1].y;
m_KF1.statePre.at<float>(2) = 0;
m_KF1.statePre.at<float>(3) = 0;
setIdentity(m_KF1.measurementMatrix);
setIdentity(m_KF1.processNoiseCov,Scalar::all(.1)) //updated at every step
setIdentity(m_KF1.measurementNoiseCov, Scalar::all(4)); //assuming measurement error of
//not more than 2 pixels
setIdentity(m_KF1.errorCovPost, Scalar::all(.1));
4 个状态变量(x、y 中的位置和 x、y 中的速度)。
2 个测量变量(x,y 中的位置)
1 个控制变量(加速度)
遵循每次迭代所采取的步骤
//---First,the predicion phase , to update the internal variables-------//
// 'dt' is the time taken between the measurements
//Updating the transitionMatrix
m_KF1.transitionMatrix.at<float>(0,2) = dt;
m_KF1.transitionMatrix.at<float>(1,3) = dt;
//Updating the Control matrix
m_KF1.controlMatrix.at<float>(0,1) = (dt*dt)/2;
m_KF1.controlMatrix.at<float>(1,1) = (dt*dt)/2;
m_KF1.controlMatrix.at<float>(2,1) = dt;
m_KF1.controlMatrix.at<float>(3,1) = dt;
//Updating the processNoiseCovmatrix
m_KF1.processNoiseCov.at<float>(0,0) = (dt*dt*dt*dt)/4;
m_KF1.processNoiseCov.at<float>(0,2) = (dt*dt*dt)/2;
m_KF1.processNoiseCov.at<float>(1,1) = (dt*dt*dt*dt)/4;
m_KF1.processNoiseCov.at<float>(1,3) = (dt*dt*dt)/2;
m_KF1.processNoiseCov.at<float>(2,0) = (dt*dt*dt)/2;
m_KF1.processNoiseCov.at<float>(2,2) = dt*dt;
m_KF1.processNoiseCov.at<float>(3,1) = (dt*dt*dt)/2;
m_KF1.processNoiseCov.at<float>(3,3) = dt*dt;
Mat prediction1 = m_KF1.predict();
Point2f predictPt1(prediction1.at<float>(0),prediction1.at<float>(1));
// Get the measured corner
m_measurement1.at<float>(0,0) = scene_corners[0].x;
m_measurement1.at<float>(0,1) = scene_corners[0].y;
//----Then, the correction phase which uses the predicted value and our measured value
Mat estimated = m_KF1.correct(m_measurement1);
Point2f statePt1(estimated.at<float>(0),estimated.at<float>(1));
这个模型几乎不能纠正我的测量值
现在我的问题是:
- 卡尔曼滤波器适合我的场景吗?它会给我带来更好的结果吗?
- 如果是,那么缺少什么?我建模对吗?而是为矩形的四个点创建 4 个过滤器,我是否应该以其他方式对其进行建模(例如,根据距离获取 10 个最强匹配并将其用作过滤器的输入)
- 如果卡尔曼滤波器不适合,我还能做些什么来为估计的单应性提供更多的稳定性?
任何帮助将不胜感激。谢谢。