computer-vision - 图像中简单 3d 对象的视点不变检测和识别

Question

我有一组简单的刚性 3D 对象，我希望从图像中检测和识别（比如说 5 到 10 个类）。物体在某种意义上很简单，它们是一种颜色的圆柱体或具有简单图案（例如条纹）或类似简单形状的矩形。这些对象彼此之间有很大的不同（例如，没有两个类，其中一个是大圆柱体，另一个是相同但较小的圆柱体）。因为纹理非常简单（实体和/或简单图案），所以词袋方法失败了（它们不包含大量独特的边缘）。

虽然一种可能的方法是手动编码每个分类器（手动特征提取等），但是否有一种简单的数据驱动方法（例如 Haar/LBP 分类器）可以工作？如果 Haar 或 LBP 可以很好地解决这个问题，那么如何解决未知相对视点的问题（以及通过这种透视失真、旋转等）？只是从所有可能的角度为一个对象提供正图像会收敛还是通常会做其他事情？检测和识别应该实时运行。

Answer 1

根据您对问题的描述，我看到了基于 Haar 或 LBP 的检测器的几个缺点。首先，这些特征不使用颜色，这在这里似乎很重要。其次，使用 Haar 或 LBP 特征的分类器对平面内和平面外旋转很敏感。如果您的对象可以处于任何 3D 方向，则您需要离散化 3D 旋转的范围并为每个对象训练一个单独的检测器。例如，对于人脸检测，您通常使用两个检测器：一个用于正面，一个用于侧面。最后，如果没有足够的纹理用于词袋，也可能没有足够的纹理用于 Haar 或 LBP。

由于您的对象是简单的 3D 形状，我将首先尝试使用霍夫变换检测直线和圆，并尝试将它们分组以形成对象的轮廓。