deep-learning - 如何从视频中生成数据集以用于计算机视觉中的视频分类？

Question

我正在尝试为视频分类构建数据集。我正在研究一个不存在数据集的特定项目。我的任务是将视频或视频中的场景分类为某个类别。计算机视觉专家可以分享这项任务的策略吗？步骤是什么？我觉得我将从视频创建图像数据集开始。是这样吗？或者请详细说明。

Answer 1

我认为问题是关于生成训练集的快速直接的方法。如前所述，手动构建合适的数据集可能是一场噩梦。

通过创建专门的视频处理工具解决了类似的问题。这是嘴唇训练集的示例：

（见详情）

我正在尝试准确的分割，因此需要该工具来避免与详细对象形状轮廓相关的所有痛苦。

该方法可以在几个关键步骤中指定：

1. 提高对象/场景的视频质量
2. 提高对象可见性（颜色、对比度等）
3. 查找或开发有限的工具集，帮助您自动提取对象
4. 收集适合工具集的视频样本
5. 使用工具集创建训练集
6. 使用生成集来训练一种更高级的模型，可以用作解决您问题的常用方法

例如，Les Twins 动作可用于收集有关普通衬衫的信息。

（见行动）

如果需要获取特定于蚱蜢的训练集，YouTube 也会提供帮助：

（见行动）

这里有更多的例子。