opencv - 了解solvePnP算法

Question

我无法理解Perspective-n-Point问题。几个问题：

1. 是s为了什么？为什么我们需要图像点的比例因子？

2. 是一个将同质世界点移动到二维图像平面的坐标空间中的K[R|T]“坐标变化矩阵”吗？p_w

3. 我知道这[R|T]代表了相机相对于相应世界点的“旋转和平移”，p_w这就是我们要解决的问题。这有什么特别困难的？我们不能说[R|T] =inv(K)s(p_c)inv(p_w)吗？我只是用一些基本的矩阵代数做到了这一点。
4. 我不明白为什么 PnP 有多种解决方案……这些多种解决方案到底是什么？

谢谢你的帮助！

Answer 1

1. 需要比例因子来确定是从小距离观察到的小物体还是从远距离观察到的大物体

在典型的相机针孔方程中

s 表示相机坐标系中点的 Z 坐标

2. 对， K[R|t]是投影矩阵，它将某些对象/世界/全局坐标系中的 3d 坐标映射到图像的 2d 坐标中，如上​​式所示。

3. 这并不容易，因为您通常不知道相机坐标系中的点坐标，但知道图像坐标系中的二维坐标。相机坐标系和图像坐标系之间的变换会丢失一维，并且还有比例因子使我们的方程不是完全线性的。这就是为什么它不是那么容易计算的原因。

4. 不同的算法使用不同的方法来添加解决方案所需的附加信息。例如 DLT（直接线性变换）方法使用投影矩阵的特征。除了解析解之外，还有许多使用非线性优化的方法——例如 openCV 中使用的 Levenberg-Marquardt。