c++ - 面部特征检测和跟踪

Question

我想在 2D 视频中检测和跟踪嘴唇和眼角

我已经使用 OpenCV Viola-Jones 面部和特征点检测器完成了正面姿势、中性表情和良好光照条件下的面部特征检测。

我将CascadeClassifier::detectMultiScale与 haarcascade_frontalface_alt、haarcascade_eye、haarcascade_mcs_mouth xml 文件一起使用。它可以正常工作高达 15 度的旋转和中性表达。

但是现在，我只想知道在以下条件下是否可以检测面部特征（图像中的眼睛、嘴巴）？

• 头部旋转高达 45 度

• 表情 - 说话，大笑，微笑，......

  

OpenCV 不是必须的，任何库或实现都可以。首先，我也可以接受任何参考论文。不能使用 3D Range 相机和其他 3D 相机传感器。

Answer 1

您已经在这里发布了一个问题：Facial Feature Points Detection using OpenCV。我很想将此称为您自己问题的重复。

这已经使用流行的flandmark工具回答了您的问题。这个问题的唯一区别是您询问了更大程度的姿势变化，即高达 45 度。如果您阅读带有 flandmark 的相关论文，他们会评估当前最先进的评估数据集之一，即野外标记面孔 (LFW)，该数据集已经涵盖了中等范围的姿势变化。

如果您愿意牺牲速度来获得非姿势面部的准确性，那么 2012 年的另一项工作对图像集进行了更密集的地标算法评估，我认为该算法比 LFW 具有更多的姿势变化。作品的项目网页在这里。

我还建议您将来参考您自己的问题，如果它们彼此相似，并清楚地描述您的问题的不同和独特之处，值得提出一个新问题。