1

我正在运行 OpenCV 2.4.2。

我的项目包括一个 3D 人脸识别。

我正在尝试从未经校准的相机拍摄的一对图像创建一个 3D 模型。
我的目标是获得一些用于识别过程的 3D 特征。

我正在尝试校准和校正相机，但没有得到好的结果。
我做了这些步骤：

  • 从 2 张图像中提取 SURF 特征
  • 发现 2 个图像特征之间的对应关系
  • 计算基本矩阵感谢findFundamentalMat
  • 用于stereoRectifyUncalibrated获取单应矩阵
  • warpPerspective与第一个图像和第一个单应矩阵一起使用以查看结果。

我得到了一个非常糟糕的结果，我现在不知道该怎么办......

那个算法对吗？有什么建议吗？

我可以使用什么样的 3D 功能来获得更好的人脸识别？

这里是校准代码：

/// Conversione di 1 vettore di keypoints in 2 vettori di Point2f
vector<int> pointIndexesLeft;
vector<int> pointIndexesFront;

for (vector<DMatch>::iterator it= matches_FL.begin(); it!= matches_FL.end(); ++it) {
    // Estrazione degli indici
    pointIndexesLeft.push_back(it->queryIdx);
    pointIndexesFront.push_back(it->trainIdx);
}

// Convrsione dei keypoints in Point2f
vector<cv::Point2f> selPointsLeft, selPointsFront;
KeyPoint::convert(keypoints_left,selPointsLeft,pointIndexesLeft);
KeyPoint::convert(keypoints_front,selPointsFront,pointIndexesFront);

// Calcolo della matrice fondamentale
Mat F = findFundamentalMat(
                           Mat(selPointsFront), // points in first image
                           Mat(selPointsLeft), // points in second image
                           CV_FM_RANSAC);       // 8-point method


/// Rettifico la camera
Mat H1,H2;
stereoRectifyUncalibrated(selPointsFront, selPointsLeft, F, img_front.size(), H1, H2,3);

Mat out_right= Mat::zeros(img_front.rows, img_front.cols, img_front.depth());
Mat out_left= Mat::zeros(img_left.rows, img_left.cols, img_front.depth());

warpPerspective(img_front,out_right, H1, img_front.size(), INTER_LINEAR | WARP_INVERSE_MAP, BORDER_TRANSPARENT);
warpPerspective(img_left,out_left, H2, img_left.size(), INTER_LINEAR | WARP_INVERSE_MAP, BORDER_TRANSPARENT);

imshow("out_right", out_right);
imshow("out_left", out_left);
4

3 回答 3

2

首先，第一次检测/识别与 3D 重建无关。假设您确实想从一台未校准的相机对物体进行 3D 重建，通常有两种选择：

1）您首先使用校准图案（通常是象棋图案）校准相机；请参阅 camera_calibration.cpp 示例。

2）你可以同时校准和做3D重建，最简单的过程是这样的：首先使用任何特征检测算法提取显着点（特征）（每个都有优点和缺点，但是你应该得到工作结果），为找到的特征提取描述符，匹配两张条件良好的照片的描述符，找到基本矩阵 F，从 F 中提取两个投影矩阵（3x4 矩阵），对匹配的特征进行三角剖分，然后通过切除递归进行：使用已计算的 3D 点和新照片中匹配的特征来计算其相机矩阵（内在和外在矩阵），对新照片带来的新特征进行三角剖分，并对整个重建空间（相机和3D 点）。

祝你好运！

于 2012-09-18T20:48:01.863 回答
0

相信我，没有任何内在数据的 3D 重建是一种痛苦。我正在用改进的平板扫描仪做同样的事情。

您还可以查看以下帖子：2 幅图像的 3d 重建，没有有关相机的信息

于 2012-12-10T19:32:06.297 回答
0

尽管我不确定您要使用这种面部图像方法来完成什么，但我发现您的方法存在以下问题。

在找到单应矩阵 H1、H2 之前一切都很好，但在那之后：

warpPerspective(img_front,out_right, H1, img_front.size(), INTER_LINEAR | WARP_INVERSE_MAP, BORDER_TRANSPARENT);
warpPerspective(img_left,out_left, H2, img_left.size(), INTER_LINEAR | WARP_INVERSE_MAP, BORDER_TRANSPARENT);

请参阅参考资料：warpPerspective on opencv doc

不应有 WARP_INVERSE_MAP 标志，因为 H1 是前向单应性而非后向单应性。通过不使用此标志并使用未校准的相机图像，我得到了正确的结果。当您使用未校准的相机时，实际上没有问题，只要您能够在多次迭代中一致地识别基本矩阵。

试试这个，让我们知道它是否对你有用。

于 2017-05-08T06:40:22.083 回答