7

我正在查看一个 Apple 项目,该项目演示了如何使用 TrueDepth 前置摄像头将人与背景分开。你可以在这里看到:

https://developer.apple.com/documentation/avfoundation/cameras_and_media_capture/enhancing_live_video_by_leveraging_truedepth_camera_data

它工作得很好,但有时如果我旋转我的脸,深度图会丢失一些数据点并剪辑我的脸和耳朵的一部分。您可以在此处查看该示例:https ://streamable.com/cstex

有没有人对如何改进这一点有任何想法?如果您使用AVPortraitEffectsMatte对象是完美的AVCapturePhotoOutput,但它似乎不适用于实时视频源,因为处理时间太长而无法更新帧。

我注意到 Apple 的Clips应用程序具有完美的效果,不会夹住我的任何脸或耳朵,并且提供了良好的帧率:https ://streamable.com/5n96h 因为他们的应用程序不会丢失细节,所以它不能仅仅依靠关于深度数据。或者,他们通过模型运行深度数据以改进它(可能类似于他们用来生成 AVPortraitEffectsMatte 的专有模型)

关于如何获得类似结果或他们如何实现的任何想法?

4

0 回答 0