image-processing - 低分辨率运动视频中目标检测的最佳方法是什么？

Question

我正在寻找在移动视频中检测对象的最快和更有效的方法。关于此视频的注意事项：它非常颗粒状且分辨率低，而且背景和前景同时移动。

注意：我正在尝试在移动视频中检测道路上移动的卡车。

我试过的方法：

训练 Haar Cascade - 我尝试通过对所需对象的多张图像进行复制来训练分类器以识别对象。事实证明，这会产生许多错误检测或根本没有检测到（从未检测到所需的对象）。我使用了大约 100 张正片和 4000 张底片。

SIFT 和 SURF 关键点 - 当尝试使用这些基于特征的方法时，我发现我想要检测的对象的分辨率太低，因此没有足够的特征来匹配以进行准确的检测。（从未检测到所需的对象）

模板匹配——这可能是我尝试过的最好的方法。这是最准确的，但也是最老套的。我可以使用从视频中裁剪的模板来检测一个特定视频的对象。但是，没有保证准确性，因为所有已知的都是每个帧的最佳匹配，没有对模板匹配帧的百分比进行分析。基本上，它仅在对象始终在视频中时才有效，否则会产生错误检测。

所以这些是我尝试过的三大方法，但都失败了。最有效的是模板匹配，但具有比例和旋转不变性（这导致我尝试 SIFT/SURF），但我不知道如何修改模板匹配函数。

有人对如何最好地完成这项任务有任何建议吗？

score 5 · Accepted Answer

将光流应用于图像，然后根据流场对其进行分割。背景流与“对象”流非常不同（主要取决于它是向您移动还是远离您，还具有一些横向分量）。

这是一个以这种方式工作的旧项目：

score 2 · Accepted Answer

这篇车辆检测论文使用Gabor 滤波器组进行低级检测，然后使用响应来创建训练SVM 分类器的特征空间。

该技术似乎运作良好，并且至少是规模不变的。我不确定旋转。

score 1 · Accepted Answer

不了解您的应用程序，我的第一印象是归一化互相关，特别是因为我记得看到一个具有车辆跟踪的纯光学互相关器作为示例应用程序。（仅使用光学组件和车辆侧面的图像跟踪车辆经过时 - 我希望我能找到链接。）这类似于（如果不相同）“模板匹配”，你说的那种作品，但如您所知，如果图像被旋转，这将不起作用。

但是，有一种基于对数极坐标的相关方法，无论旋转、缩放、剪切和平移如何，它都可以工作。

我想这也可以跟踪对象已经离开视频场景，因为最大相关性会降低。

score 0 · Accepted Answer

Haar Cascade 将需要您提供大量的训练数据，并且对于任何方向调整都会很差。

您最好的选择可能是将模板匹配与类似于opencv (5,7MB PDF) 中的 camshift的算法以及卡车是否仍在图像中的概率模型（您必须弄清楚这一点）结合起来。

score 0 · Accepted Answer

我们说的分辨率有多低？你能详细说明一下对象吗？它是一种特定的颜色吗？它有图案吗？答案会影响您应该使用的内容。

另外，我可能读错了您的模板匹配语句，但听起来您过度训练它（通过测试您从中提取对象的同一视频？？）。

5 回答 5