问题标签 [kitti]

我目前正在试验 Kitti 立体数据集（http://www.cvlibs.net/datasets/kitti/eval_odometry.php），目标是找到一个正确的矩阵，将像素投影到世界坐标系中的点。问题是我不确定 Kitti 数据集中使用的是哪个坐标系。自述文件说：

每个文件 xx.txt 包含一个 N x 12 表，其中 N 是该序列的帧数。第 i 行通过 3x4 变换矩阵表示左相机坐标系的第 i 个姿势（即，z 指向前方）。矩阵以行对齐的顺序存储（第一个条目对应于第一行），并在第 i 个坐标系中取一个点并将其投影到第一个 (=0th) 坐标系中。因此，平移部分（第 4 列的 3x1 向量）对应于第 i 帧中左侧相机坐标系相对于第一（=第 0）帧的位姿。

所以据我所知，这个矩阵代表一个世界到相机的映射，因此我应该把它的逆从相机 cs 投影到世界 cs？

另一个问题是我需要以不同的方式定位世界坐标系：-z 指向前方，y 向上。

我的代码的当前版本如下所示：

我知道 kitti 中的 calib_cam_to_cam.txt。所以我可以使用

""" S_xx：校正前图像xx的1x2尺寸 K_xx：校正前相机xx的3x3校准矩阵 D_xx：校正前相机xx的1x5畸变向量 R_xx：相机xx的3x3旋转矩阵（外部） T_xx：相机的3x1平移向量xx (extrinsic) S_rect_xx: 校正后 xx 的 1x2 大小 R_rect_xx: 3x3 校正旋转以使图像平面共面 P_rect_xx: 校正后的 3x4 投影矩阵 """

此信息。

但我无法使用此信息在 calib.txt 中制作 Px。(R_rect * K_xx * [R_xx|T_xx]) 我如何得到 Px 矩阵？

我正在使用以下模型：https://github.com/JiawangBian/SC-SfMLearner-Release，其中相机位置依赖于 PoseResNet（如https://github.com/TRI-ML/packnet-sfm），和其他研究材料。

我想验证相机平移并施加适当的损失函数，问题是姿势的 Kitti GT 与我获得的不同（数量级不同，符号也不同）。

姿势的 PoseResNet 值：[-2.9110e-03, 1.8962e-03, 3.1028e-04]

- Kitti 里程计： 9.999972e-01 -6.991581e-04 2.270602e-03 -7.962199e-03 7.016426e-04 9.999992e-01 -1.093565e-03 -3.417185e-03 -2.269865e-03 9998655e-03 1.0999865e-03 -01 1.441061e+00 和 kitti 位置（使用这个转换：https ://github.com/TRI-ML/packnet-sfm/blob/master/packnet_sfm/datasets/kitti_dataset.py#L405 ），所以 kitti GT 姿势： [0.0436, 0.0390, -1.1027]

有谁知道我应该使用什么转换？我看到 TRI-ML 没有使用任何转换（https://github.com/TRI-ML/packnet-sfm/blob/master/packnet_sfm/losses/velocity_loss.py），他们报告说一切正常。

我想构建一个输出 RGB-D 图像/视频的程序/功能。RGB-D 图像是普通的 rgb 图像，但每个像素也有一个像这样的深度分量：

这段代码可以访问你手机的所有数据，所以我可以访问多个摄像头、加速度计、方向数据等。我的目标是制作最好的 RGB-D 视频。

我发现了两种主要的方法，一种是 VO（视觉里程计），您可以将普通视频输入到一些算法中，通常是 CNN（卷积神经网络）。该算法比较某些跟踪点的距离变化，并得出深度图，如下所示：

更多信息在这里和这里

VIO（视觉惯性里程计）数据类似，但它采用惯性测量，例如加速度计数据。我已经看到 ARCore 在这里这样做：

问题是，我不确定哪种方法可以产生更好的 RGB-D 数据，而且我无法与地面真实值进行比较。我很想使用 ARCore/WebXR，因为它有一个易于使用的 JS Api，它很容易使用，因为它可以在手机上运行，​​而不是为 VO 编译 C++ 代码，它使用 KITTI 或 SLAM 等算法。

我的问题是，收集最准确的 RGB-D 数据的最佳方法是什么？

我正在处理 KITTI 数据集以仅使用图像数据来检测 3D 边界框。我正在使用 M3D-RPN 模型。该模型需要在训练我的自定义数据时调整 P_rect(i) 矩阵中的值。我已经知道这个矩阵意味着投影矩阵，但是 P_rect(i) 是什么，我怎么能得到这个值？

我尝试使用我的自定义 LiDAR 数据集作为针对点云数据训练的几个深度学习模型的输入。

由于其中大多数是使用 KITTI 或 nuscenes 进行训练的，因此我尝试在使用自定义数据作为输入之前比较自定义数据集和公共数据集。

最明显的区别是表示物体反射率特性的强度分布。

据我使用带有直方图函数的 Matlab 检查它们，数据集的强度分布分布如下：

KITTI 的强度分布从 0 到 1 展开，在 1 附近没有任何饱和度，并且大部分点的值几乎为零。Nuscenes 的强度分布从 0 到 255 强度分布，大多数点几乎为零。

但是，我的自定义数据分布在 0 到 255 之间，在 0 和 255 附近高度饱和（许多点的强度为零或 255）

我仍在寻找导致上述差异的硬件设置之间的差异，但直到现在才找到任何线索。

我阅读了nuscenes和KITTI之间的转换代码，但只是改变传感器的坐标，并标准化nuscenes数据的强度值。

如果有人告诉我有关应用于 KITTI 激光雷达数据集的预处理，我们将不胜感激。

我想让KITTI中的灰度图像和彩色图像完全匹配。我想确保两个图像的中心相同。当然，在这种情况下，图像外缘的一部分会被切掉。

在 KITTI 中，相机 0 和相机 2 之间的差异是 6cm，但我不知道如何在图像上转换它。

我尝试使用 cam_to_cam.txt 中的校准信息。但在世界坐标系中使用投影矩阵或旋转矩阵，kitti数据集只有像素坐标。

我想在 Carla Simulator 上运行点云上的对象检测算法。我正在使用 KITTI 数据集。我已经收集了我的图像，并以 KITTI 格式正确标记了它们。

但问题是，如何从我收集的图像中创建校准和 velodyne 数据？或者一般来说，如何从 Carla 创建自定义数据集？除了KITTI还有其他方法吗？

我的模型根据光流和深度估计估计相机位姿，我想使用 kitti 里程计数据集评估我的模型，有人知道如何进行此评估吗？另外，我从一篇研究论文中得到了这些结果，有人可以帮我解释这些值的含义吗？kitti里程计数据集的绝对轨迹误差评估

我想在 KITTI 数据集上测试不同的预训练语义分割模型，并获得一些指标，如 IoU、iLou 等。我找不到这方面的通用指南，所有现有示例都有特定的依赖关系，使用复杂的结构，我不需要等。所以这似乎是一项简单的任务，但我找不到解决方案。我想使用谷歌colab。