0

我有兴趣使用 ARKit 3 和几台 iPad 来创建多用户(协作)体验,因为根据 WWDC '19 似乎对协作 AR 的支持有所改进。

Apple 谈论了很多关于面部跟踪和动作捕捉的内容,但听起来这仅在前置摄像头(面向手持设备的人)上支持。有没有办法对分享经验的朋友进行面部跟踪?在 WWDC 演示视频中,看起来动作捕捉角色是从用户视图中的人生成的,而 Minecraft 演示显示用户视图中的人与 AR 中的 Minecraft 内容混合在一起。这表明后置摄像头正在处理这个问题。然而,我认为 AR 的意义在于将虚拟对象附加到你面前的物理世界. Reality Composer 有一个面部跟踪示例和一个跟随面部周围的引用气泡,但是因为我没有带有深度摄像头的设备,我不知道这个示例是否意味着让引用气泡跟随你,周围的用户,或相机视图中的其他人。

简而言之,我对在共享 AR 环境中对其他人的面部跟踪、人物遮挡和身体跟踪可以做哪些事情感到有些困惑。正在使用哪个相机,我可以将哪些功能应用于其他人,而不仅仅是我自己(自拍风格)?

最后,假设我可以在我看来对其他人进行面部和身体跟踪,并且我可以为其他人进行遮挡,有人会指导我参考一些示例代码吗?我还想使用场景中的深度信息(同样,如果可能的话),但这可能需要一些完全不同的 API。

由于我还没有配备 TrueDepth 摄像头的设备,因此我无法使用此处的示例项目自行测试:https ://developer.apple.com/documentation/arkit/tracking_and_visualizing_faces 我正在尝试根据人们的回答是我是否可以在购买必要的硬件之前首先创建我想要的系统。

4

1 回答 1

0

ARKit 3 提供了同时使用前置和后置摄像头的能力。

面部跟踪使用前置摄像头,并且需要配备 TrueDepth 摄像头的设备。ARKit 3 现在可以使用前置摄像头最多跟踪三个人脸。面部跟踪可让您捕捉详细的面部动作。

使用后置摄像头执行身体跟踪和动作捕捉。这允许检测身体并将其映射到您的应用程序可以用来捕获位置数据的虚拟骨架上。

例如,您可以使用后置摄像头捕捉某人的身体动作,并使用前置摄像头捕捉该动作的人的面部表情,并将其组合到一个 ARKit 场景中。

于 2019-08-15T20:45:31.447 回答