javascript - 将画布上的视频转换为 3d 网格的合适起点是什么

Question

当前是否有 JavaScript 库用于将 Canvas 中的视频流转换为 3D 网格？

一个示例情况是将相机对准杯子并捕获原始图像，将先前的数据与新数据进行比较以生成视图内对象的边缘轮廓，理想情况下将其转换为最简单的多边形集并显示计算出的多边形/在第二个画布元素中建模。

我已经看到 mrdoob 在 3d javascript 上从目标文件到画布渲染的一些出色工作，但我希望捕获原始数据并尝试生成网格。目的是在 2 个用户之间通过套接字发送当前在摄像机视图中捕获的任何对象的网格点。

任何帮助表示赞赏。

score 6 · Accepted Answer

6

它不是一个库，但这里正好展示了您正在寻找的技术。

于 2012-10-18T17:10:53.260 回答

score 3 · Accepted Answer

这是一个相当复杂的问题。大多数算法需要 2 个图像（立体视觉系统）才能识别 2d 信息并将其处理为 3d 对象。使用网络摄像头执行此操作并由 Javascript 支持是一个很大的挑战:)

基本上，我认为您必须结合一些计算机视觉技术（边缘检测、过滤、3d 到 2d 映射……）。

以下是一些可能有用的信息

用于 Javascript 的计算机视觉库 - https://github.com/alex-m/seevee.js/wiki（移植一些众所周知的 opencv 函数） - 可用于获取网络摄像头图像、3d 处理等

2 回答 2