6

我要将素描脸（绘图照片）与彩色照片相匹配。因此，对于研究，我想找出将草图与彩色面孔相匹配的挑战。现在我发现了

  1. 分辨率像素差
  2. 质地差异
  3. 距离差
  4. 和颜色（影响不大）

我想知道（在技术方面）还有哪些其他挑战，有哪些可用OPEN CV的JAVA CV方法和算法来克服这些挑战？

以下是一些已知与它们相匹配的草图和照片的示例：

数据

4

4 回答 4

4

这个问题被称为多模态人脸识别。将高质量的面部照片（模态 1）与低质量的监视图像（模态 2）进行比较引起了很多兴趣，另一种是将正面图像与侧面图像进行比较，或者将图片与 OP 感兴趣的草图进行比较。偏最小二乘法（PLS） ) 和捆绑因子分析 (TFA) 已用于此目的。

一个关键的困难是计算从模态 1（和模态 2）中的图像到两个点接近意味着个体相同的空间的两个线性投影。这是关键的技术步骤。以下是一些关于这种方法的论文：

  1. Abhishek Sharma，David W Jacobs： 绕过合成：PLS 用于姿势、低分辨率和草图的人脸识别。2011 年简历。
  2. SJD Prince，JH Elder，J. Warrell，FM Felisberti，跨大姿势差异的人脸识别的捆绑因子分析，IEEE Patt。肛门。马赫 Intell, 30(6), 970-984, 2008。Elder 是该领域的专家，并就该主题发表过大量论文。
  3. B. Klare、Z. Li 和 AK Jain，将法医草图与面部照片相匹配，IEEE 模式分析和机器智能，2010 年 9 月 29 日。

如您所知，这是一个活跃的研究领域/问题。在使用 OpenCV 克服困难方面，让我给你打个比方：你需要盖房子（将草图与照片匹配），你会问斯坦利锤 (OpenCV) 会有什么帮助。当然，它可能会有所帮助。但是你还需要很多其他资源：木材、时间/金钱、管道、电缆等。

于 2013-10-30T02:04:36.867 回答
2

我认为 James Elder 关于边缘图完整性的旧工作（通过求解拉普拉斯方程使用重建）在这里非常相关。查看本文末尾的结果：http: //elderlab.yorku.ca/~elder/publications/journals/ElderIJCV99.pdf

于 2013-10-30T01:33:54.380 回答
1

你可以试试 Eigenfaces，虽然我从来没有用草图测试过它们，我认为它们至少可以成为你研究的一个很好的起点。

请参阅 Wiki：http ://en.wikipedia.org/wiki/Eigenface和 OpenCV 教程： http: //docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html（不仅包括 Eigenfaces！）

于 2013-10-28T07:54:01.850 回答
1

OpenCV 可用于此任务所需的特征提取和机器学习。我想您可以从上面答案中的论文开始，从一些基本功能开始，并使用 OpenCV 对分类器进行原型制作。

我猜您可能还想检测和匹配面部特征点。如果您使用这种方法，您将不得不自己进行特征点检测器（在 OpenCV 中使用您自己的数据训练 Viola-Jones 检测器是一种选择）。

于 2013-10-30T04:19:17.057 回答