1

我正在使用一系列 kinect 相机进行多视图远程呈现项目。
为了提高视觉质量我们想提取前景，例如站在中间的人使用彩色图像，彩色图像而不是深度图像，因为我们想使用更可靠的彩色图像来修复深度图像中的一些伪影.

现在的问题是前景物体（通常是 1-2 人）正站在一个巨大的屏幕前，该屏幕显示远程呈现系统的另一方也一直在移动，并且该屏幕对于某些 kinect 是可见的。是否仍然可以提取这些 kinect 的前景，如果可以，你能指出我正确的方向吗？

关于现有系统的更多信息：
我们已经有一个正在运行的系统，它可以合并所有 kinect 的深度图，但这只是到目前为止。kinect 深度传感器存在很多问题，例如与传感器的干扰和距离。颜色和深度传感器也略有偏移，因此当您将颜色（如纹理）映射到使用深度数据重建的网格上时，您有时会将地板映射到人身上。

所有这些问题都会降低深度数据的整体质量，但不会降低颜色数据的质量，因此可以将彩色图像轮廓视为“真实”图像，将深度图像视为“破损”图像。但尽管如此，网格是使用深度数据构建的。所以提高深度数据等于提高系统质量。
现在，如果您有剪影，您可以尝试在剪影之外删除/修改不正确的深度值和/或在内部添加缺失的深度值

感谢您提供的每一个提示。

4

1 回答 1

1

根据我对此类问题的经验，您提出的策略并不是最好的方法。

由于您具有非常量的背景，因此您要解决的问题实际上是 2D 分割。这是一个难题，人们通常使用深度来使分割更容易，而不是相反。我会尝试组合/合并来自您的 Kinect 的多个深度图，以改善您的深度图像，可能以Kinect 融合的方式，或使用经典的传感器融合技术。

如果您绝对决心遵循您的策略，您可以尝试使用您不完善的深度图来组合 Kinect 的 RGB 相机图像，以重建背景的完整视图（不被前面的人遮挡）。但是，由于屏幕上不断变化的背景图像，这需要您的 Kinects 的 RGB 相机同步，我认为这是不可能的。

根据评论/更新进行编辑

我认为利用您对屏幕上图像的了解是您进行背景减除以增强轮廓的唯一机会。如果我理解正确的话，我认为这是一个棘手的问题，因为屏幕是立体显示器。

当您在屏幕上显示某个图像时，您可以尝试计算一个模型来描述您的 Kinect RGB 相机所看到的内容（给定立体显示及其位置、传感器类型等），本质上是一个告诉您的函数：Kinect K 看到(r, g, b)像素(x, y)当我(r',g',b')在显示器上显示像素(x',y')时。要做到这一点，您必须创建一系列校准图像，在显示器上显示，没有人站在它前面，并使用 Kinect 进行拍摄。这将允许您预测您的屏幕在 Kinect 相机中的外观，从而计算背景减法。这是一项非常具有挑战性的任务（但如果可行的话，它会给出一篇很好的研究论文）。

附注：您可以轻松计算 Kinect 深度相机与其彩色相机的几何关系，以避免将地板映射到人身上。某些 Kinect API 允许您检索深度相机的原始图像。如果您覆盖 IR 投影仪，您可以使用深度和 RGB 相机拍摄校准图案，并计算外部校准。

于 2013-03-09T16:01:24.180 回答