我有一个非常简单的任务:获取平面三角形的欧拉角。图案看起来像这样
所以,算法:
1)从网络摄像头获取图像——完成
2)转换为灰度、过滤器等——完成
3)获取所有连接组件的质心,并过滤它们——完成。看起来像这样。红色圆圈描述三角形顶点的质心。
代码很简单,但这里是:
QMap<int, QVector<double> > massCenters(const cv::Mat& image)
{
cv::Mat output(IMAGE_WIDTH, IMAGE_HEIGHT, CV_32S);
cv::connectedComponents(image, output, 8);
QMap<int, QVector<double> > result;
for (int y = 0; y < IMAGE_HEIGHT; ++y)
{
for (int x = 0; x < IMAGE_WIDTH; ++x)
{
int label = output.at<int>(y, x);
if (label)
{
QVector<double> vec = result.value(label, QVector<double>());
if (vec.isEmpty())
{
vec.resize(3);
vec.fill(0);
}
vec[0] += x;
vec[1] += y;
vec[2] += 1;
result[label] = vec;
}
}
}
return result;
}
4)然后我调用solvePNP来获取旋转和平移向量
cv::solvePnP(m_origin, m_imagePoints, m_cameraMatrix, m_distMatrix, m_rvec, m_tvec);
//this code is for drawing rvec & tvec on a screen
std::vector<cv::Point3f> axis;
vector<cv::Point2f> axis2D;
axis.push_back(Point3f(0.0f, 0.0f, 0.0f));
axis.push_back(Point3f(30.0f, 0.0f, 0.0f));
axis.push_back(Point3f(0.0f, 30.0f, 0.0f));
axis.push_back(Point3f(0.0f, 0.0f, 30.0f));
cv::projectPoints(axis, m_rvec, m_tvec, m_cameraMatrix, m_distMatrix, axis2D);
cv::line(m_orig, axis2D[0], axis2D[1], cv::Scalar(255, 0, 0), 2);
cv::line(m_orig, axis2D[0], axis2D[2], cv::Scalar(0, 255, 0), 2);
cv::line(m_orig, axis2D[0], axis2D[3], cv::Scalar(0, 0, 255), 2);
m_origin被声明为std::vector<cv::Point3f> m_origin;
并用值填充(以 mm 为单位)
m_origin.push_back(cv::Point3f( 0.0f, 51.0f, 0.0f));
m_origin.push_back(cv::Point3f(-56.0f, -26.0f, 0.0f));
m_origin.push_back(cv::Point3f( 56.0f, -26.0f, 0.0f));
m_imagePoints被声明为std::vector<cv::Point2f> m_imagePoints;
并包含质心的像素坐标(第二个屏幕上的红色圆圈)。
我尝试了什么但对我没有帮助:
1) 在 m_cameraMatrix、m_distMatrix、m_rvec、m_tvec 中使用了 double 和 float 类型
2) 重新排列 m_origin 中的点
3)用solvePnPRansac和它的输入参数玩
4) 使用 pnp 方法:迭代和 epnp
5) useExtrinsicGuess=true - 它有帮助,但有时解决方案会“卡住”并给出完全错误的值(旋转向量中的千度)
我有几个问题:
1)原点和图像点的顺序重要吗?正如这里提到的,有时确实如此,但那是一年前的事了。
2)除了使用solvePnP之外,我的任务可以通过其他方式解决吗?
谢谢。将不胜感激任何帮助!