5

我正在使用这个遗留代码： http: //fossies.org/dox/opencv-2.4.8/trifocal_8cpp_source.html 用于从 3 个不同视图的给定相应 2D 点估计 3D 点。我面临的问题与此处所述相同：http: //opencv-users.1802565.n2.nabble.com/trifocal-tensor-icvComputeProjectMatrices6Points-icvComputeProjectMatricesNPoints-td2423108.html

我可以使用icvComputeProjectMatrices6Points成功计算投影矩阵。我使用了来自 3 个视图的 6 组对应点。结果如下所示：

projMatr1 P1 = 
[-0.22742541, 0.054754492, 0.30500898, -0.60233182;
  -0.14346679, 0.034095913, 0.33134204, -0.59825808;
  -4.4949986e-05, 9.9166318e-06, 7.106331e-05, -0.00014547621]

projMatr2 P2 = 
[-0.17060626, -0.0076031247, 0.42357284, -0.7917347;
  -0.028817834, -0.0015948272, 0.2217239, -0.33850163;
  -3.3046148e-05, -1.3680664e-06, 0.0001002633, -0.00019192585]

projMatr3 P3 = 
[-0.033748217, 0.099119112, -0.4576003, 0.75215244;
  -0.001807699, 0.0035084449, -0.24180284, 0.39423448;
  -1.1765103e-05, 2.9554356e-05, -0.00013438619, 0.00025332544]

此外，我使用icvReconstructPointsFor3View计算了 3D 点。六个 3D 点如下：

4D points = 
[-0.4999997, -0.26867214, -1, 2.88633e-07, 1.7766099e-07, -1.1447386e-07;
  -0.49999994, -0.28693244, 3.2249036e-06, 1, 7.5971762e-08, 2.1956141e-07;
  -0.50000024, -0.72402155, 1.6873783e-07, -6.8603946e-08, -1, 5.8393886e-07;
  -0.50000012, -0.56681377, 1.202426e-07, -4.1603233e-08, -2.3659911e-07, 1]

而实际的3D点如下：

   - { ID:1,X:500.000000, Y:800.000000, Z:3000.000000}
   - { ID:2,X:500.000000, Y:800.000000, Z:4000.000000}
   - { ID:3,X:1500.000000, Y:800.000000, Z:4000.000000}
   - { ID:4,X:1500.000000, Y:800.000000, Z:3000.000000}
   - { ID:5,X:500.000000, Y:1800.000000, Z:3000.000000}
   - { ID:6,X:500.000000, Y:1800.000000, Z:4000.000000}

我现在的问题是，如何将 P1、P2 和 P3 转换为允许进行有意义的三角剖分的形式？我需要使用三焦张量计算正确的 3D 点。

4

1 回答 1

10

三焦点张量对您没有帮助，因为与基本矩阵一样，它只能实现场景和相机姿势的投影重建。如果X0_j和P0_i是真正的 3D 点和相机矩阵，这意味着重建的点Xp_j = inv(H).X0_j和相机矩阵Pp_i = P0_i.H只定义为一个公共的 4x4 矩阵H，这是未知的。

为了获得度量重建，您需要知道相机的校准矩阵。无论您是否知道这些矩阵（例如，如果您使用虚拟相机进行图像渲染）还是使用相机校准估计它们（请参阅OpenCV 校准教程），您都可以在“几何，约束”的第 7.4.5 节中找到获得度量重建的方法和三焦张量的计算”，C.Ressl (PDF)。

请注意，即使使用此方法，您也无法获得符合比例的 3D 重建，除非您有一些额外的知识（例如了解两个固定 3D 点之间的实际距离）。

算法草图：

输入：三个相机矩阵P1, P2, P3（投影世界坐标，选择的坐标系P1=[I|0]），相关的校准矩阵K1, K2, K3和一个点对应x1, x2, x3。

输出：三个相机矩阵P1_E, P2_E, P3_E（度量重建）。

  1. 放P1_E=K1.[I|0]

  2. 计算基本矩阵F21, F31。表示P2=[A|a]and P3=[B|b]，你有F21=[a]x.Aand F31=[b]x.B（参见 [HZ00] 中的表 9.1），其中对于 3x1 向量 e[e]x = [0,-e_3,e_2;e_3,0,-e_1;-e_2,e_1,0]

  3. 计算基本矩阵E21 = K2'.F21.K1和E31 = K3'.F31.K1

  4. 对于i = 2,3，请执行以下操作

    一世。计算 SVD Ei1=U.S.V'。如果det(U)<0设置U=-U. 如果det(V)<0设置V=-V.

    ii. 定义W=[0,-1,0;1,0,0;0,0,1],Ri=U.W.V'和ti = third column of U

    iii. 定义M=[Ri'.ti]x,X1=M.inv(K1).x1和Xi=M.Ri'.inv(Ki).xi

    iv. 如果X1_3.Xi_3<0, 设置Ri=U.W'.V'并重新计算M和X1

    v. 如果X1_3<0设置ti = -ti

    六。定义Pi_E=Ki.[Ri|ti]

  5. 执行以下操作以检索 t3 的正确比例（与 的事实一致||t2||=1）：

    一世。定义p2=R2'.inv(K2).x2和p3=R3'.inv(K3).x3

    ii. 定义M=[p2]x

    iii. 计算规模s=(p3'.M.R2'.t2)/(p3'.M.R3'.t3)

    iv. 放t3=t3*s

  6. 算法结束：摄像机矩阵P1_E, P2_E, P3_E在场景的各向同性缩放和 3D 坐标系的变化（因此它是度量重建）之前都是有效的。

[HZ00]“计算机视觉中的多视图几何”，R.Hartley 和 A.Zisserman，2000 年。

于 2014-02-17T16:45:53.187 回答