opencv - 使用隐马尔可夫模型进行手形分析

Question

我目前正在研究动态手势识别系统。我选择了手形的曲率特征。目前，我能够获得手部轮廓曲率的角度列表。

问题是我坚持下一步该怎么做。在我找到的众多文献中几乎找不到信息。在将处理后的输出传递给隐马尔可夫模型进行分类之前，每个手势/姿势的这组角度应该是“处理的”。

但是这个过程应该包括什么？我遇到过：傅里叶变换、B 样条和很多函数，但我不知道如何将一组角度（例如 -23、90、45、156，...）传递给这些函数。

感谢您的耐心等待。

下面是一张图片，显示了我到目前为止所达到的阶段：

Answer 1

你能解释一下你是如何获得这些角度的吗？您可以将连续的角度组合在一起，并可能以某种方式将它们关联起来：比如通过减去它们或以某种方式处理它们以查找哪些手指已打开/关闭或找到手的方向。例如，假设您手掌的质心在一帧中位于 (x,y) 处，而在另一帧中位于 (a,b) 处。然后你可以减去这些来找到你的手的方向。

现在既然你已经找到了手部轮廓曲率的角度，你就有了不同点的数量和角度的变化。通过配对连续的角度并找到轮廓上的点数，您可以尝试检测哪些手指是张开的，哪些是闭合的。如果您尝试进行指尖检测，请查看 Convex-Hull 算法。但是，既然你说你的手势是动态的，那一定意味着你的手在执行某个手势的同时不断地在空间中移动。请澄清这一点。处理后，结果将形成观察序列，作为 HMM 的输入。