2

从 Velodyne 点出发，如何获取每个相机的像素坐标？

使用pykitti point_cam0 = data.calib.T_cam0_velo.dot(point_velo) 我们可以得到图像上的投影，即Kitti 数据集论文的方程 7 ：

y = P rect (i) R rect (0) T速度凸轮x

但是从那里，如何获取每个图像上的实际像素坐标？

4

1 回答 1

5

更新： PyKitti 0.2.1 版公开了所有相机的投影矩阵。

我最近遇到了同样的问题。对我来说，问题是 pykitty 没有为所有相机公开 P rect和 R rect矩阵。

对于 Pykitti > 0.2.1，使用校准数据中的 P rect和 R rect。

对于以前的版本，您有两种选择：

  1. 手动输入矩阵（数据在每个序列的 .xml 校准文件中）。
  2. 使用 pykitti 的这个分支：https ://github.com/Mi-lo/pykitti/

然后，您可以使用等式 7 将 velodyne 点投影到图像中。注意：

  • 您将需要 3D 点作为齐次坐标中的 4xN 数组。pykitti 返回的点是一个 Nx4 numpy 数组，反射率在第 4 列。您可以使用下面的prepare_velo_points函数准备点，该函数仅保留反射率 > 0 的点，然后将反射率值替换为 1 以获得齐次坐标。

  • velodyne 是 360°。即使是在相机后面的点，公式 7 也会为您提供结果（它们将像在前面一样被投影，但垂直镜像）。为避免这种情况，您应该只投影相机前面的点。为此，您可以使用下面的函数project_velo_points_in_img。它返回齐次坐标中的 2d 点，因此您应该丢弃第 3 行。

以下是我使用的功能：

def prepare_velo_points(pts3d_raw):
    '''Replaces the reflectance value by 1, and tranposes the array, so
       points can be directly multiplied by the camera projection matrix'''

    pts3d = pts3d_raw
    # Reflectance > 0
    pts3d = pts3d[pts3d[:, 3] > 0 ,:]
    pts3d[:,3] = 1
    return pts3d.transpose()

def project_velo_points_in_img(pts3d, T_cam_velo, Rrect, Prect):
    '''Project 3D points into 2D image. Expects pts3d as a 4xN
       numpy array. Returns the 2D projection of the points that
       are in front of the camera only an the corresponding 3D points.'''

    # 3D points in camera reference frame.
    pts3d_cam = Rrect.dot(T_cam_velo.dot(pts3d))

    # Before projecting, keep only points with z>0 
    # (points that are in fronto of the camera).
    idx = (pts3d_cam[2,:]>=0)
    pts2d_cam = Prect.dot(pts3d_cam[:,idx])

    return pts3d[:, idx], pts2d_cam/pts2d_cam[2,:]

希望这可以帮助！

于 2017-08-11T12:51:36.730 回答