我已经用两个相机的固有相机矩阵成功计算了旋转、平移。我还从左右摄像头获得了校正后的图像。现在，我想知道如何计算一个点的 3D 坐标，只是图像中的一个点。在这里，请看绿点。我看了一下方程，但它需要我不知道如何计算的基线。您能告诉我使用给定信息（R、T 和内在矩阵）计算绿点 3d 坐标的过程吗？
仅供参考 1. 我还有一个基本矩阵和基本矩阵，以防万一我们需要它们。2. 原始图像尺寸为 960 x 720。校正后的尺寸为 925 x 669 3. 左图的绿点：(562, 185)，右图的绿点：(542, 185)
“基线”一词通常仅表示翻译。由于您已经有了旋转、平移和内在矩阵（让我们不要它们R, T和K）。您可以进行三角测量并且不需要基本矩阵或基本矩阵（它们可用于提取R, T等，但您已经拥有它们）。您也不需要对图像进行校正，因为它不会对三角测量过程产生太大影响。有许多三角测量方法，每种方法都有其优缺点，以及许多实现它们的库。因此，我在这里所能做的就是为您提供问题和潜在解决方案的概述，以及指向资源的指针，您可以按原样使用这些资源，也可以作为编写自己代码的灵感来源。
形式化和解决方案大纲。让我们正式化我们在这里追求的东西。你有一个 3d 点X，有两个观察值x_1 ，x_2分别在左右图像中。如果你对它们进行反向投影，你会得到两条光线：
ray_1=K^{1}x_1
rat_2=R*K^{-1}x_2+T //I'm assuming that [R|T] is the pose of the second camera expressed in the referential of the first camera
理想情况下，您希望这两条光线在 点相遇X。由于在实践中我们总是有一些噪声（离散化噪声、舍入误差等），两条射线不会在 处相遇X，所以最好的答案是这样的Q点
Q=argmin_X {d(X,ray_1)^2+d(X,ray_2)^2}
其中d(.)表示线和点之间的欧几里得距离。您可以将此问题作为常规最小二乘问题来解决，或者您可以仅采用几何方法（称为中点）考虑与 和l都垂直的线段，并将其中点作为您的解决方案。另一种快速而肮脏的方法是使用 DLT。基本上，您将约束（即应尽可能接近两条射线）重新编写为线性系统并使用 SVD 求解。ray_1ray_2 XAX=0
通常，几何（中点）方法不太精确。基于 DLT 的算法虽然在数值上不是最稳定的，但通常会产生可接受的结果。
呈现深度形式化的资源
当然是 Hartley-Zisserman 的书！第 12 章。第 312 页解释了一种简单的基于 DLT 的方法，它是在 opencv 中使用的（在校准和 sfm 模块中）。它很容易实现，任何时间都不应该超过 10 分钟语言。
塞利斯基的书。它在关于 SFM 的章节中对三角剖分进行了有趣的讨论，但不像 Hartley-Zisserman 的那样直接或深入。
代码。您可以使用 opencv 中的三角测量方法，可以来自 calib3d 模块，也可以来自 contribs/sfm 模块。两者都使用 DLT，但来自 SFM 模块的代码更容易理解（calib3d 代码有很多老式的 C 代码，阅读起来不太愉快）。还有另一个名为 openGV 的库，它有一些有趣的三角测量方法。
openGV git repo 似乎不是很活跃，而且我不是图书馆设计的忠实粉丝，但如果我没记错的话（请随意告诉我）它提供了 DLT 以外的三角测量方法。
当然，这些都是用 C++ 编写的，但是如果您使用其他语言，则查找包装器或类似库不会很困难（使用 python，您仍然有 opencv 包装器，而 MATLAB 有一个捆绑模块等）。