unity3d - 如何将 3D 元素添加到 Hololens 2 视野中

Question

我正在尝试使用 Hololens 2 为大学构建远程协助解决方案，我已经使用 Unity 设置了MRTK WebRTC 示例。现在我想添加桌面对应的功能，能够在 Hololens 的视野中添加注释以支持远程指导，但我不知道如何实现。我正在考虑使用 Azure 空间锚，但我还没有找到从 2D 桌面环境在 Hololens 的远程视野中添加 3D 元素的好例子。此外，我不确定 Spatial Anchors 是否是正确的框架，因为它们主要用于 AR 环境中的持久标记，我宁愿寻找临时的视觉指示器。有没有人已经在研究这样的解决方案并且可以给我一些框架/提示从哪里开始？

Answer 1

要从 2D 图像中查找点的实际世界位置，您可以参考以下答案：https ://stackoverflow.com/a/63225342/11502506

简而言之，cameraToWorldMatrix和projectionMatrix变换为每个像素定义了 3D 空间中的一条射线，表示产生该像素的光子所采用的路径。但是沿着特定光线的任何东西都会出现在同一个像素上。因此，要找到一个点的实际世界位置，您需要使用Physics.Raycast方法来计算世界空间中光线撞击 SpatialMapping 的撞击点。