augmented-reality - Microsoft Hololens 在多大程度上可以用于检测物体？

Question

我正在启动一个项目，研究 Hololens 在检测 3D 物体方面的能力（物体有多小？物体必须是什么形状？）

例如，如果我使用 Hololens 观察鞋子，它是否能够捕捉到鞋子表面上的所有点？我查看了 Hololens 的规格，它说它具有“环境理解相机”，但这是否意味着它们是 3D 相机，它们的精确度如何？

我问的原因是我完成了一个教程，该教程可以让你查看房间扫描的网格，椅子和桌子之类的东西看起来像是从地上长出来的肿块，而不是自主物体。如果我想让 hololens 检测到一只鞋子并用它做点什么，那么肿块将毫无用处。

我是各种图像/3D 对象检测的新手，因此任何有助于解释其工作原理的资源将不胜感激。

Answer 1

Hololens 本身并不检测物体。它只检测表面。也许，如果 Hololens 检测到一只鞋（即您的地板上只有一只鞋），Hololens 可能会检测到表面的变化。但是你不能（先验地）知道它的变化是由表演还是地板的缺陷造成的。

具体来说：如果你想检测鞋子，我建议你研究一下Vuforia的物体检测。如果您想检测先前给定的对象，这是最简单的方法。

如果您想更进一步检测鞋子、网球和其他类型的鞋子，我建议使用任何现有的用于 AI/机器学习的库/框架，并用多个鞋子图像训练一个神经网络，并从 HoloLens 相机传递一张照片并进行处理神经网络返回的信息。