2

我有一个带有 2 个摄像头的立体声系统。我校准了这些相机。我尝试计算每个指尖之间的距离。在左图中，我使用凸包找到指尖。我计算这些点的极线。我在右图上画极线。如何计算每个指尖的 3d 位置？我使用了 c++ 和 opencv。

图片下方有5个窗口。它们是：右图，左图，在右图上使用凸包找到指尖，在左图上绘制极线，在左图上找到对应点

在此处输入图像描述

立体声校准后，我的 .yml 文件如下

%YAML:1.0
CM1: !!opencv-matrix
 rows: 3
 cols: 3
 dt: d
 data: [ 1.4947330489959640e+02, 0., 8.5026435902438408e+01, 0.,
   1.7045159164506524e+02, 6.8513237416979280e+01, 0., 0., 1. ]
CM2: !!opencv-matrix
rows: 3
cols: 3
dt: d
data: [ 1.4947330489959640e+02, 0., 7.6063817190941975e+01, 0.,
   1.7045159164506524e+02, 6.9869364400956655e+01, 0., 0., 1. ]
D1: !!opencv-matrix
rows: 1
cols: 5
dt: d
data: [ 4.6664660489275862e+00, -9.5605452982913761e+01, 0., 0.,
   4.4411083031870203e+02 ]
D2: !!opencv-matrix
rows: 1
cols: 5
dt: d
data: [ -2.6243438145377401e-01, 3.1158182596121313e+00, 0., 0.,
   -6.9555261934841601e+00 ]
R: !!opencv-matrix
rows: 3
cols: 3
dt: d
data: [ -9.9870707407742809e-01, 5.0820157566619700e-02,
   1.2213814337059467e-03, -4.6584627039081256e-02,
   -9.2456021193091820e-01, 3.7817758664136281e-01,
   2.0348285218473684e-02, 3.7763173343769685e-01,
   9.2573226215224258e-01 ]
T: !!opencv-matrix
rows: 3
cols: 1
dt: d
data: [ -5.0257191774306198e-01, -5.1791340062890008e+00,
   -1.7104054803114692e+00 ]
E: !!opencv-matrix
rows: 3
cols: 3
dt: d
data: [ -1.8506509733057530e-01, -3.5371782058656147e+00,
   -4.1476544229091719e+00, 1.7184205294528965e+00,
   1.0286402846218139e-01, 4.6315798080871423e-01,
   -5.1490256443274198e+00, 7.2786240503729882e-01,
   -1.8373573684783620e-01 ]
 F: !!opencv-matrix
  rows: 3
 cols: 3
 dt: d
 data: [ -2.0635586643392613e-06, -3.4586914187982223e-05,
   -4.3677532717492718e-03, 1.6802903312164187e-05,
   8.8202517402136951e-07, -8.1218529743132760e-04,
   -9.5988974549000728e-03, 3.6330053228360980e-03, 1. ]
4

3 回答 3

0

您可能需要一些基于 3D-2D 点对应的非常快速和简单的解决方案。然后你对3D模型进行点拟合，很多手的3D模型可以随意找到，即：http ://www.turbosquid.com/3d-model/anatomy/hand OpenCV提供了一个很好的方法-solvePnP - 可以做拟合步骤。我们需要做以下事情：

  1. 下载一个徒手模型。
  2. 使用任何 3D 编辑器来编辑模型（即：MeshLab）
  3. 标记每个指尖的位置，我们将得到五个 3D 点
  4. 将它们保存在文件中作为参考模型
  5. 您的 opencv 程序会为您找到五个 2D 点。
  6. 现在您有了模型点 (3d) 和真实图像点 (2D)，您必须使用 solvePnP 函数来拟合它们：solvePnP (model_points,image_points,cameraMatrix ..some_calibration_params)
  7. 我们将得到一个 3x3 矩阵，您可以将其定义为： double calMat[9] = { x_center, 0, x_shift, 0, y_center, y_shift, 0, 0, 1 }; //“校准矩阵”：x_center,y_center点是考虑焦距的图像中心，即。x_center=y_center=30 cameraMatrix = Mat(3,3,CV_64FC1,calMat);
  8. 通过这些步骤，您可以在移动手的任何时刻估计每个指尖的 3D 位置
于 2014-12-15T10:16:21.177 回答
0

由于您无法确定用您的方法对两张图像都获得准确的指尖，因此我将使用不同的方法：

  • 首先使用3D 图像重建来获得您手部的深度图像。
  • 然后使用您现有的算法来获取深度图像中的指尖。
  • 最后利用深度信息重建指尖的3D位置。
于 2014-12-14T20:41:56.623 回答
0

使用 不扭曲您的 2D 点cv::undistortPoints()。将两个相机的未失真点传递到cv::triangulatePoints()（连同相机投影矩阵）并cv::Mat存储（同质的）3D 坐标。调用convertPointsFromHomogenous()以获取普通（非均匀）3D 点。注意：投影矩阵是来自cv::stereoRectify和/或的 P1 和 P2 <opencv-dir>/samples/cpp/stereo_calib.cpp。您可能会发现如何正确使用 cv::triangulatePoints()很有用。

于 2018-07-25T20:30:23.063 回答