c# - Hololens - 访问相机框架

Question

在 3D 模式下，如何从 hololens 相机访问视频流中的所有帧？我正在使用 C#。

统一VideoCapture类似乎没有提供这个： http ://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html

并且带有方法的 microsoftMediaCapture类MediaCapture.StartPreviewToCustomSinkAsync没有很好的文档记录。 https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx

Answer 1

我们制作了一个名为CameraStream的开源项目来满足这一需求。作为一个 Unity 插件，它使用 MediaCapture 将字节数组输入 Unity（连同可定位矩阵）。从那里您可以将字节分配给 Texture2D，如提供的 Unity 示例中所示。

我们的 VideoCapture 类模仿了 Unity 的同名类，以便开发人员熟悉如何使用它。我们还假设这个功能最终将由 Unity 开箱即用地提供。

Answer 2

您可以尝试使用 MediaCapture FrameReader API

文档： https ://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-资源

示例代码： https ://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames