1

我有一个非常简单的任务:获取平面三角形的欧拉角。图案看起来像这样

所以,算法:

1)从网络摄像头获取图像——完成

2)转换为灰度、过滤器等——完成

3)获取所有连接组件的质心,并过滤它们——完成。看起来像这样。红色圆圈描述三角形顶点的质心。

代码很简单,但这里是:

QMap<int, QVector<double> > massCenters(const cv::Mat& image)
{
    cv::Mat output(IMAGE_WIDTH, IMAGE_HEIGHT, CV_32S);
    cv::connectedComponents(image, output, 8);

    QMap<int, QVector<double> > result;

    for (int y = 0; y < IMAGE_HEIGHT; ++y)
    {
        for (int x = 0; x < IMAGE_WIDTH; ++x)
        {
            int label = output.at<int>(y, x);

            if (label)
            {
                QVector<double> vec = result.value(label, QVector<double>());

                if (vec.isEmpty())
                {
                    vec.resize(3);
                    vec.fill(0);
                }

                vec[0] += x;
                vec[1] += y;
                vec[2] += 1;
                result[label] = vec;
            }
         }
    }

    return result;
}

4)然后我调用solvePNP来获取旋转和平移向量

 cv::solvePnP(m_origin, m_imagePoints, m_cameraMatrix, m_distMatrix, m_rvec, m_tvec);

 //this code is for drawing rvec & tvec on a screen
 std::vector<cv::Point3f> axis;
 vector<cv::Point2f> axis2D;

 axis.push_back(Point3f(0.0f, 0.0f, 0.0f));
 axis.push_back(Point3f(30.0f, 0.0f, 0.0f));
 axis.push_back(Point3f(0.0f, 30.0f, 0.0f));
 axis.push_back(Point3f(0.0f, 0.0f, 30.0f));

 cv::projectPoints(axis, m_rvec, m_tvec, m_cameraMatrix, m_distMatrix, axis2D);

 cv::line(m_orig, axis2D[0], axis2D[1], cv::Scalar(255, 0, 0), 2);
 cv::line(m_orig, axis2D[0], axis2D[2], cv::Scalar(0, 255, 0), 2);
 cv::line(m_orig, axis2D[0], axis2D[3], cv::Scalar(0, 0, 255), 2);

m_origin被声明为std::vector<cv::Point3f> m_origin;并用值填充(以 mm 为单位)

m_origin.push_back(cv::Point3f( 0.0f,   51.0f, 0.0f));
m_origin.push_back(cv::Point3f(-56.0f, -26.0f, 0.0f));
m_origin.push_back(cv::Point3f( 56.0f, -26.0f, 0.0f));

m_imagePoints被声明为std::vector<cv::Point2f> m_imagePoints;并包含质心的像素坐标(第二个屏幕上的红色圆圈)。

我得到了很奇怪的结果:从这个那个

我尝试了什么但对我没有帮助:

1) 在 m_cameraMatrix、m_distMatrix、m_rvec、m_tvec 中使用了 double 和 float 类型

2) 重新排列 m_origin 中的点

3)用solvePnPRansac和它的输入参数玩

4) 使用 pnp 方法:迭代和 epnp

5) useExtrinsicGuess=true - 它有帮助,但有时解决方案会“卡住”并给出完全错误的值(旋转向量中的千度)

我有几个问题:

1)原点和图像点的顺序重要吗?正如这里提到的,有时确实如此,但那是一年前的事了。

2)除了使用solvePnP之外,我的任务可以通过其他方式解决吗?

谢谢。将不胜感激任何帮助!

4

1 回答 1

2

solvePnPRansac不适合您的情况,因为您不必处理异常数据。

我的猜测是您观察到的问题来自您选择的模式:

  • 这是3分
  • 然后你添加三角形的质心

但在我看来,它或多或少类似于仅使用 3 个点,因为您添加的第 4 个点是三角形的重心,不应在姿势估计问题中提供任何额外信息。

关于 3 点 (P3P) 的姿态估计问题,最多有四种可能的解决方案,并且可以使用第 4 点来消除歧义。关于这个的一些参考:

我的建议是改用 4 点正方形并测试您是否观察到相同的问题(P3P标志应该没问题)。如果是,则代码或校准中存在问题。

我认为这里有一篇论文或多或少与这个问题有关:为什么 Danger Cylinder 在 P3P 问题中很危险?. 链接不可用时的图:

危险气缸

于 2017-03-25T22:32:38.590 回答