computer-vision - 给定立体图像的相对旋转和内在矩阵，如何估计相机平移？

Question

我有由单个相机拍摄的场景的 2 张图像（左和右）。我知道内在矩阵K_L以及两个图像和两个相机之间的K_R相对旋转。R

如何计算t两个相机之间的精确相对平移？

Answer 1

您只能按比例进行，除非您有单独的方法来解决比例问题，例如通过观察已知大小的物体，或者通过传感器（例如激光雷达）为您提供与地平面或物体的距离在两个视图中都可见。

也就是说，解决方案非常简单。您可以通过计算然后分解基本矩阵来做到这一点，但这是一种更直观的方法。令 xl 和 xr 为同构图像坐标中两个视图中的两个匹配像素，令 X 为其对应的 3D 世界点，以左相机坐标表示。令 Kli 和 Kri 分别是左右摄像机矩阵 Kl 和 Kr 的逆矩阵。用 R 和 t 表示从右到左相机坐标的变换。然后是：

X = sl * Kli * xl = t + sr * R * Kri * xr

其中 sl 和 sr 是分别从左右相机反向投影到点 X 的左右光线的比例。

上面的第二个等式表示 5 个未知数中的 3 个标量方程：t、sl 和 sr 的 3 个分量。根据您拥有的其他信息，您可以通过不同的方式解决它。

例如，如果您知道（例如通过激光雷达测量）相机到 X 的距离，您可以从上面的方程中删除比例项并直接求解。如果在两个图像中都可以看到一个已知长度的片段 [X1, X2]，您可以像上面一样编写两个方程并再次直接求解。