5

作为我硕士论文的一部分，我正在探索运动中的结构。在阅读了H&Z book的部分内容、遵循在线教程并阅读了许多 SO 帖子之后，我得到了一些有用的结果，但我也遇到了一些问题。我正在使用 OpenCVSharp 包装器。所有图像均使用同一台相机拍摄。

我现在拥有的：

首先，我计算初始 3d 点坐标。我通过以下步骤做到这一点：

  1. 计算 Farneback 的密集光流。
  2. 使用 Cv2.FindFundamentalMat 和 RANSAC 查找基本矩阵

  3. 使用相机内在函数获取基本矩阵（此时我使用预先确定的内在函数）并将其分解：

    Mat essential = camera_matrix.T() * fundamentalMatrix * camera_matrix;

SVD decomp = new SVD(essential, OpenCvSharp.SVDFlag.ModifyA);

Mat diag = new Mat(3, 3, MatType.CV_64FC1, new double[] {
    1.0D, 0.0D, 0.0D,
    0.0D, 1.0D, 0.0D,
    0.0D, 0.0D, 0.0D
});

Mat Er = decomp.U * diag * decomp.Vt;

SVD svd = new SVD(Er, OpenCvSharp.SVDFlag.ModifyA);

Mat W = new Mat(3, 3, MatType.CV_64FC1, new double[] {
    0.0D, -1.0D, 0.0D,
    1.0D, 0.0D, 0.0D,
    0.0D, 0.0D, 1.0D
});

Mat Winv = new Mat(3, 3, MatType.CV_64FC1, new double[] {
    0.0D, 1.0D, 0.0D,
    -1.0D, 0.0D, 0.0D,
    0.0D, 0.0D, 1.0D
});

Mat R1 = svd.U * W * svd.Vt;
Mat T1 = svd.U.Col[2];
Mat R2 = svd.U * Winv * svd.Vt;
Mat T2 = -svd.U.Col[2];

Mat[] Ps = new Mat[4];

for (int i = 0; i < 4; i++)
    Ps[i] = new Mat(3, 4, MatType.CV_64FC1);

Cv2.HConcat(R1, T1, Ps[0]);
Cv2.HConcat(R1, T2, Ps[1]);
Cv2.HConcat(R2, T1, Ps[2]);
Cv2.HConcat(R2, T2, Ps[3]);

  4. 然后，我通过对点进行三角测量，然后将它们乘以投影矩阵（我尝试了 Cv2.TriangulatePoints 和 H&Z 版本，结果相似）并检查正 Z 值（从同质值）：

    P * point3D
  5. 在这一点上，我应该有或多或少正确的 3D 点。3D 可视化看起来非常正确。

然后我通过再次使用密集光流和已知的先前投影矩阵计算每个新帧的 SolvePNP，我计算下一个 3D 点并将它们添加到模型中。同样，3D 可视化看起来或多或少是正确的（此时没有捆绑调整）。

由于我需要为每个新帧使用 SolvePNP，因此我首先通过使用基本矩阵为前 2 个图像计算的那个来检查它。从理论上讲，投影矩阵应该与使用初始算法计算的矩阵相同或几乎相同 - 我使用第二张图像中的初始 3D 点和相应的 2D 点。但不一样。

这是通过分解基本矩阵计算得出的：

0,955678480016302 -0,0278536127242155 0,293091827064387 -0,148461857222772 
-0,0710609269521247 0,944258717203142 0,321443338158658 -0,166586733489084 
0,285707870900394 0,328023857736121 -0,900428432059693 0,974786098164824

这是我从 SolvePnPRansac 得到的：

0,998124823499476 -0,0269266503551759 -0,0549708305812315 -0,0483615883381834 
0,0522887223187244 0,8419572918112 0,537004476968512 -2,0699592377647 
0,0318233598542908 -0,538871853288516 0,841786433426546 28,7686946357429

它们都看起来像正确的投影矩阵，但它们是不同的。

对于那些阅读整篇文章的耐心的人，我有 3 个问题：

1. Why are these matrices different? I know the reconstruction is up to scale, but since I have an arbitrary scale assigned in the first place the SolvePNP should keep that scale.
2. I noticed one strange thing - the translation in the first matrix seems to be exactly the same no matter what images I use.
3. Is the overal algorithm correct, or am I doing something wrong? Do I miss some important step?

如果需要更多代码，请告诉我，我将编辑问题。

谢谢你！

4

3 回答 3

7

首先，您描述的两种方法不太可能提供完全相同的投影矩阵有一个明显的原因：它们都使用 RANSAC 估计其结果，RANSAC 是一种基于随机性的算法。由于这两种方法都随机选择一些对应关系以估计适合其中大多数的模型，因此结果取决于所选择的对应关系。

因此，您不能期望使用这两种方法获得完全相同的投影矩阵。但是，如果一切正常，它们应该非常接近，但似乎并非如此。您展示的两个矩阵的翻译非常不同，这表明可能存在更严重的问题。

首先，“无论我使用什么图像，第一个矩阵中的翻译似乎都完全相同”这一事实在我看来是一个强有力的线索，即您的实现中可能存在错误。我建议首先对此进行详细调查。

其次，我认为在 Structure From Motion 工作流程中使用光流是不合适的。实际上，光流要求两个考虑的图像非常接近（例如视频的两个连续帧），而两个图像中对应点的 3D 三角剖分需要大基线才能准确。这两个要求是矛盾的，可能会导致结果出现问题和不准确，从而解释两种方法的不同结果。

例如，如果您考虑的两个图像是两个连续的视频帧，您将无法准确地对点进行三角测量，这可能会导致在步骤 4 中选择错误的投影矩阵，也可能导致SolvePnP估计错误的投影矩阵。另一方面，如果您考虑的两个图像具有较大的基线，则三角测量将是准确的，但光流可能会有很多不匹配，这将在整个工作流程中引入错误。

为了了解您的问题来自哪里，您可以做的一件事是使用具有已知投影矩阵和 3D 点的综合数据。然后，您可以分析每个步骤的准确性并检查它们是否产生了预期的结果。

于 2014-08-30T18:26:47.680 回答
1

我写信是为了让大家知道我没有成功解决这个问题 - 尽管知道结果不正确，但我使用了基本矩阵初始三角剖分而不是 SolvePnP。这不是一个完美的解决方案，但有时它可以工作。这足以让我的整个项目被接受并让我毕业:)

于 2014-11-29T18:06:56.977 回答
1

我知道我参加这个聚会有点晚了，但我想指出你的两种方法之间的根本区别。您从基本矩阵获得的相机姿势是按比例的，而您从 solvePnP 获得的相机姿势应该是世界单位。换句话说，你从本质矩阵得到的平移向量是单位向量，而你从solvePnP得到的平移向量的大小应该接近相机到坐标系原点的实际距离。

于 2015-12-22T15:36:28.630 回答