4

我花了几个月的时间研究和实验关键点检测、描述和匹配的过程。在上一期中，我还研究了增强现实背后的概念，即“无标记”识别和姿势估计。

幸运的是，我发现之前的概念在这个环境中仍然被广泛使用。以下是创建基本增强现实的常用管道，无需详细介绍每种所需算法：

在拍摄视频时，在每一帧...

  1. 获取一些关键点并创建它们的描述符
  2. 在这些点与之前保存的“标记”（如照片）中的点之间找到一些匹配项
  3. 如果匹配足够，估计可见对象的位姿并玩弄它

也就是说，例如，这个学生（？）项目使用的一个非常简化的过程。

现在的问题是：在我的个人研究中，我还发现了另一种称为“光流”的方法。我仍处于研究的开始阶段，但首先我想知道它与以前的方法有多大不同。具体来说：

  • 它背后的主要概念是什么？它是否使用之前大致描述的算法的“子集”？
  • 在计算成本、性能、稳定性和准确性方面的主要区别是什么？（我知道这可能是一个过于笼统的问题）
  • 其中哪一种在商业 AR 工具中使用得更多？（junaio，Layar，...）

谢谢你的合作。

4

2 回答 2

6

光流（OF）是围绕所谓的“亮度恒定假设”的方法。您假设像素 - 更具体地说，它们的强度（最多一些增量） - 没有改变，只是移动。你会找到这个方程的解：I(x,y,t) = I(x+dx, y+dy, t+dt)。

Tailor 系列的一阶为：I(x + dx, y+dy, t+ dt) = I (x,y,t) + I_x * dx + I_y * dy + I_t * dt。

然后你求解这个方程并得到每个像素的 dx 和 dy - 偏移。

光流主要用于跟踪和里程计。

upd.：如果不是应用于整个图像，而是应用于补丁，光流几乎与Lucas-Kanade-Tomashi 跟踪器相同。

这种方法与基于特征的方法之间的区别在于密度。对于特征点，您通常只会获得特征点位置的差异，而光流会针对整个图像进行估计。

缺点是 vanilla OF 仅适用于小排量。为了处理较大的图像，可以缩小图像并在其上计算 OF - “粗到细”方法。

可以将“亮度恒定假设”更改为“描述符恒定假设”并求解相同的方程，但使用描述符值而不是原始强度。SIFT 流就是一个例子。

不幸的是，我对增强现实商业解决方案了解不多，无法回答最后一个问题。

于 2014-07-15T19:31:53.000 回答
6

光流计算速度很慢，而最近检测速度的发展已经很多。增强现实商业解决方案需要实时性能。因此，很难应用基于光流的技术（除非您使用好的 GPU）。AR 系统主要使用基于特征的技术。大多数时候，他们的目标是了解场景的 3D 几何形状，这可以通过一组点进行稳健估计。old-ufo 还提到了其他差异。

于 2014-07-16T00:31:21.403 回答