1

我想在英特尔实感或 Orbbec Astra 相机的对齐 RGB 和深度流上试验机器学习（尤其是 CNN）。我的目标是进行一些对象识别并在输出视频流中突出显示/标记它们（作为起点）。

但是在阅读了许多文章之后，我仍然对所涉及的框架以及数据如何从相机通过所涉及的软件组件流动感到困惑。我只是无法获得高水平的图像。

这是我对处理流程的假设：

传感器 => 驱动程序 => libRealSense / Astra SDK => TensorFlow

问题

  • 我对处理的假设是否正确？
  • Orbbec 提供了一个额外的Astra OpenNI SDK除了Astra SDK英特尔有包装器 (?)OpenCV和OpenNI. 我何时或为什么需要这些额外的库/支持？
  • 什么是最快的开始方式？我更喜欢 C# 而不是 C++
4

1 回答 1

1
  • 您的假设是正确的：数据采集流程是：（sensor -> driver -> camera library -> other libraries built on top of it请参阅 OpenCV 对 Intel RealSense 的支持）-> captured image.一旦获得图像，您当然可以做任何您想做的事情。
  • 各种库使您可以轻松地使用该设备。特别是，使用英特尔实感支持编译的 OpenCV 允许您使用 OpenCV 标准数据采集流，而无需担心来自传感器并由英特尔库使用的图像格式。10/10 使用这些库，它们让你的生活更轻松。
  • 您可以从英特尔实感 ( https://github.com/IntelRealSense/librealsense/tree/master/wrappers/opencv ) 的 OpenCV 包装器文档开始。一旦您能够捕获 RGBD 图像，您就可以为您的模型创建输入管道，tf.data并在 tensorflow 中开发任何在 RGDB 图像上使用 CNN 的应用程序（只需在 google 上搜索并查看 arxiv 以了解可能的应用程序）。

一旦您的模型经过训练，只需导出经过训练的图并将其用于推理，因此您的管道将变为：sensor -> driver -> camera library -> libs -> RGBD image -> trained model -> model output

于 2019-01-13T19:43:58.453 回答