我正在研究使用深度图像检测手部关键点的机器学习模型。到目前为止，我看到的数据集包括世界和图像视图中关键点/骨架的标签（参见 Shrec 17 或 DHG 数据集）。我看过几篇论文及其实现，它们学习了关键点检测的世界坐标。我想了解如何将 3D 世界坐标映射到深度图像并检查数据的可视化，并可能扩展经过训练的模型以在 Azure Kinect 上进行实时预测/可视化
问问题
50 次
1 回答
0
您必须知道相机的校准矩阵。管道如下。
3D 世界坐标 --> 3D 相机坐标 --> 2D 相机坐标。
第一步称为外部校准，第二步称为内部校准，无论如何您都需要它。
示例：假设您有一个用于 3D 点检测的激光雷达。您拥有的世界坐标与激光雷达的原点无关。如果您的相机与您的激光雷达不在同一个地方（这在物理上是不可能的，但如果它们非常接近您可能会忽略），首先您必须转换这些 3D 坐标，以便它们现在相对于相机的原点表示。如果您知道相机和激光雷达的位置，您可以使用旋转和平移变换矩阵来完成此操作。
第二步又是变换矩阵。但是，您需要了解使用中相机的一些内在参数。（例如焦距、偏斜）如果您有相机，可以通过一些实验来计算这些，但在您的情况下，应该将这些校准矩阵与数据一起提供给您。所以求它。
您可以在此链接中阅读所有这些内容。 https://www.mathworks.com/help/vision/ug/camera-calibration.html
于 2020-12-01T13:55:50.910 回答