machine-learning - 对象检测 ARKit 与 CoreML

Question

我正在ARKit为 iPhone 构建应用程序。我需要检测特定的香水瓶并根据检测到的内容显示内容。我使用来自 developer.apple.com 的演示应用程序来扫描真实世界的对象并导出.arobject我可以在资产中使用的文件。它工作正常，尽管由于瓶子来自玻璃检测非常差。它仅在 2-30 秒范围内进行扫描或根本不检测的位置进行检测。合并扫描并不能改善情况，这会使情况变得更糟。合并的结果可能有奇怪的方向。

我能做些什么来解决这个问题？

如果没有，会CoreML帮助我吗？我可以拍很多照片和教模型。如果我要检查每一帧是否与这个模型匹配呢？这种方法有机会吗？

Answer 1

由于玻璃折射现象和不同的照明条件，香水瓶的对象识别过程（在 ARKit 和 CoreML 中）是最复杂的过程。

看下图——不同位置有三个玻璃球：

这些玻璃球具有不同的菲涅耳 IOR（折射率）、环境、相机的视角、尺寸和照明条件。但它们具有相同的形状、材料和颜色。

因此，加速识别过程的最佳方法是使用相同的背景/环境（例如单色浅灰色纸 BG），相同的照明条件（位置、强度、颜色和方向），良好的形状可读性（感谢镜面高光）和相机的相同 POV。

我知道，有时不可能遵循这些提示，但这些提示是有效的。