matlab - 从轮廓估计人脸偏航角

Question

我正在尝试通过使用分割信息来估计人脸的姿势（仅偏航角）。简而言之，一张脸的图像已被分割为“头发”、“皮肤”和“背景”像素。这些的基本事实是可用的。面大致居中。这里给出了一个例子。

尝试在训练集 500 个图像上从分割图像回归到偏航角等级（最左边 = 1 到最右边 = 500，比如说）。

我基本上想在这里提出一些想法并获得一些反馈。（希望这不会因为“不具建设性”而被关闭）。

• 偏航角的现成估计可以通过图像左侧有多少头发和皮肤像素 - 围绕图像中心轴的某种形式的矩来查看。这篇论文报道了这种事情。但是实现它（基本上是使用关于图像中心垂直线的皮肤像素和头发像素的矩的二次回归方案）会给出相当嘈杂的结果

• 我使用卷积神经网络架构来处理使用左姿势和右姿势图像训练的 2 类问题（人脸/非人脸分类）。分类相当不错，只有 250 个训练样本和 250 个测试样本，准确率约为 70%。然而，回归到平滑变化的姿势值再次给出了相当嘈杂的结果

  相当斗智斗勇。考虑实现某种 8 向链码的直方图，类似于 HOG，但用于分割图像......或者可能使用傅里叶描述符对边界进行编码并训练神经网络来学习分割和之间的非线性关系姿势。

  我可以就这个问题获得一些反馈/想法吗？这是我正在做的一项独立研究（我的常用领域已经足够了——OCR 和文本检测）。

Answer 1

好吧，我可以告诉你为什么关于中心线的时刻永远不会起作用：看看这张或那张，你就会明白为什么你引用的论文中的所有例子都是短发或对称发型的人，以及为什么它的标题开始与“向”。

但是，说真的，这是某种教科书或求职面试问题吗？就像“让我们看看我们有多少好的信息可以扔掉以换取任何东西，并且仍然通过向它扔掉一些计算能力来想出某种半生不熟的准答案？”。如果这是一个真实世界的应用程序，我建议您仔细查看可用的图像，并找出您可以从中提取哪些与面部姿势相关的其他功能。