12

我正在尝试根据相应图像的运动来计算新的相机位置。图像符合针孔相机模型。

事实上，我没有得到有用的结果，所以我尝试描述我的程序并希望有人可以帮助我。

我用 SIFT 匹配相应图像的特征，用 OpenCV 的 FlannBasedMatcher 匹配它们，并用 OpenCV 的 findFundamentalMat（方法 RANSAC）计算基本矩阵。

然后我通过相机内在矩阵（K）计算本质矩阵：

Mat E = K.t() * F * K;

我用奇异值分解将基本矩阵分解为旋转和平移：

SVD decomp = SVD(E);
Matx33d W(0,-1,0,
          1,0,0,
          0,0,1);
Matx33d Wt(0,1,0,
          -1,0,0,
           0,0,1);
R1 = decomp.u * Mat(W) * decomp.vt;
R2 = decomp.u * Mat(Wt) * decomp.vt;
t1 = decomp.u.col(2); //u3
t2 = -decomp.u.col(2); //u3

然后我尝试通过三角测量找到正确的解决方案。（这部分来自http://www.morethantechnical.com/2012/01/04/simple-triangulation-with-opencv-from-harley-zisserman-w-code/所以我认为应该可以正常工作）。

然后使用以下公式计算新位置：

new_pos = old_pos + -R.t()*t;

其中 new_pos & old_pos 是向量 (3x1)，R 是旋转矩阵 (3x3)，t 是平移向量 (3x1)。

不幸的是，我没有得到有用的结果，所以也许有人知道可能出了什么问题。

以下是一些结果（以防万一有人可以确认其中任何一个肯定是错误的）：

F = [8.093827077399547e-07, 1.102681999632987e-06, -0.0007939604310854831;
     1.29246107737264e-06, 1.492629957878578e-06, -0.001211264339006535;
     -0.001052930954975217, -0.001278667878010564, 1]

K = [150, 0, 300;
    0, 150, 400;
    0, 0, 1]

E = [0.01821111092414898, 0.02481034499174221, -0.01651092283654529;
     0.02908037424088439, 0.03358417405226801, -0.03397110489649674;
     -0.04396975675562629, -0.05262169424538553, 0.04904210357279387]

t = [0.2970648246214448; 0.7352053067682792; 0.6092828956013705]

R = [0.2048034356172475, 0.4709818957303019, -0.858039396912323;
     -0.8690270040802598, -0.3158728880490416, -0.3808101689488421;
     -0.4503860776474556, 0.8236506374002566, 0.3446041331317597]
4

2 回答 2

14

首先你应该检查是否

x' * F * x = 0

为您的点对应x'和x。当然，这应该只适用于使用 RANSAC 进行基本矩阵估计的内点。

此后，您必须像这样将点对应关系转换为标准化图像坐标 (NCC)

xn = inv(K) * x
xn' = inv(K') * x'

其中K'是第二张图像的固有相机矩阵， 是第二张图像x'的点。我认为在你的情况下是K = K'。

使用这些 NCC，您可以像您描述的那样分解您的基本矩阵。您对归一化的相机坐标进行三角测量并检查三角测量点的深度。但要小心，在文献中他们说一点就足以获得正确的旋转和平移。根据我的经验，您应该检查几点，因为即使在 RANSAC 之后，一点也可能是异常值。

在分解基本矩阵之前，请确保E=U*diag(1,1,0)*Vt. 对于投影矩阵的四种可能选择，需要此条件才能获得正确的结果。

当您获得正确的旋转和平移后，您可以对所有点对应关系进行三角测量（使用 RANSAC 进行基本矩阵估计的内点）。然后，您应该计算重投影误差。首先，您像这样计算重新投影的位置

xp = K * P * X
xp' = K' * P' * X

其中X是计算的（均匀的）3D 位置。P是3x4P'投影矩阵。投影矩阵P通常由恒等式给出。P' = [R, t]由前 3 列和行中的旋转矩阵以及第四列中的平移给出，因此这P是一个 3x4 矩阵。这仅在您将 3D 位置转换为齐次坐标（即 4x1 向量而不是 3x1）时才有效。然后，xp也是xp'代表对应点的（重新投影的）2D 位置的齐次坐标。

我觉得

new_pos = old_pos + -R.t()*t;

是不正确的，因为首先，你只翻译old_pos而不旋转它，其次，你用错误的向量翻译它。上面给出了正确的方法。

因此，在计算重投影点之后，您可以计算重投影误差。由于您使用的是齐次坐标，因此您必须对它们进行归一化（xp = xp / xp(2)除以最后一个坐标）。这是由

error = (x(0)-xp(0))^2 + (x(1)-xp(1))^2

如果误差很大，例如 10^2，则您的内在相机校准或旋转/平移不正确（可能两者都有）。根据您的坐标系，您可以尝试反转投影矩阵。因此，您需要先将它们转换为齐次坐标，因为您无法反转 3x4 矩阵（没有伪逆矩阵）。因此，添加第四行 [0 0 0 1]，计算逆并删除第四行。

重投影误差还有一件事。通常，重投影误差是原始点对应（在每个图像中）与重投影位置之间的平方距离。您可以取平方根来获得两个点之间的欧几里得距离。

于 2013-05-24T19:20:31.803 回答
0

要更新您的相机位置，您必须先更新平移，然后更新旋转矩阵。

t_ref += lambda * (R_ref * t);
R_ref = R * R_ref;

其中 t_ref 和 R_ref 是您的相机状态，R 和 t 是新计算的相机旋转和平移，而 lambda 是比例因子。

于 2017-05-23T15:29:10.320 回答