问题标签 [apple-vision]

Apple Vision Framework 中是否可以比较面孔并识别该人是否在图片中与该人的参考图像进行比较？

类似于 Facebook 人脸识别。

托马斯

在Apple关于在 ARKit 中执行计算机视觉任务的教程中，他们指出：

重要的

确保一次只处理一个缓冲区可确保良好的性能。相机会回收有限的像素缓冲区池，因此保留过多的缓冲区进行处理可能会使相机饿死并关闭捕获会话。将多个缓冲区传递给 Vision 进行处理会减慢每个图像的处理速度，增加延迟并减少渲染 AR 可视化的 CPU 和 GPU 开销。

在 Swift 中，我已经完成了他们建议您不应该做的事情，在队列中保留多个缓冲区以便在另一个线程中处理。果然，ARKit 的性能受到了影响。ARKit 帧仅在我从队列中出列缓冲区时才会显示。我想更好地了解这背后的机制。

ARKit 如何知道缓冲区正在被保留？swift中有某种锁定机制吗？

我的项目是使用 Vision 来识别视野中的某个矩形。我知道这个矩形将具有某种颜色。在 OpenCV 中，有一个过滤器可让您按颜色过滤像素，如此处所示。

我是 CoreImage 框架的新手，但我看不到任何可以实现此目标的过滤器。为此，是否有某种内置过滤器（不一定必须在 CoreImage 中），还是我需要学习如何编写自己的过滤器？

当图像被捕获时，它默认为左方向。因此，当您将其放入textDetector内部时Google Vision framework，它会变得混乱，除非您将照片朝向左侧（右侧的主页按钮）。我希望我的应用程序支持两个方向。

我试图用新的方向重新创建图像，但这不会改变它。

有谁知道该怎么做？

我已经尝试了所有这些建议 如何在 Swift 中旋转图像？

我正在尝试使用 Vision 和 CoreML 在尽可能接近实时的跟踪对象上执行样式转换。我正在使用 AVKit 来捕获视频，并使用 AVCaptureVideoDataOutputSampleBufferDelegate 来获取每一帧。

在高层次上，我的管道是：

1) 检测人脸

2) 更新预览层以在正确的屏幕位置绘制边界框

3）将原始图像裁剪为检测到的人脸

4）通过coreML模型运行人脸图像，得到新的图像作为输出

5）用新图像填充预览层（无论它们在哪里）

我希望在计算边界框后立即放置它们（在主线程上），然后在推理完成后填充它们。但是，我发现将 coreML 推理添加到管道（在 AVCaptureOutputQueue 或 CoreMLQueue 上），边界框在推理完成之前不会更新位置。也许我错过了在闭包中如何处理队列的一些东西。代码的（希望）相关部分如下。

我正在修改来自https://developer.apple.com/documentation/vision/tracking_the_user_s_face_in_real_time的代码。

除了队列/同步问题之外，我认为减速的一个原因可能是将像素缓冲区裁剪到感兴趣的区域。我在这里没有想法，任何帮助将不胜感激

我正在尝试使用 合并两个图像VNImageHomographicAlignmentObservation，我目前得到一个看起来像这样的 3d 矩阵：

但我不知道如何使用这些值合并到一个图像中。似乎没有任何文档说明这些值的含义。我在这里找到了一些关于转换矩阵的信息：Working with matrices。

但到目前为止，没有其他任何帮助我......有什么建议吗？

我的代码：

这是我的代码：

我正在尝试使用 Vision 框架并在我获得成功的眼睛上绘制一层。但是我想记录相同的。

Vision我想用API构建一个名片扫描仪。因此，我正在VNDetectRectanglesRequest为名片格式（具有固定比率）执行具有特定矩形约束的操作。

因此，我得到了一个VNRectangleObservation包含矩形角点的对象。这主要是 3D 空间中的矩形，但只是 2D 中的四边形，因为例如可以从侧面稍微捕获物理对象。

现在我想用这 4 个角点剪下图像并将其扭曲/扭曲成一个平面矩形，就像 iOS 笔记应用程序在您捕获文档时所做的那样。

我不需要任何像 AR 一样的文档纵横比预测，因为它是固定的（通过名片格式）。

我怎样才能在 Swift 中使用内部库来做到这一点，例如CoreGraphics或CoreImage？

我想将图像拼接在一起以在 iOS 应用程序中制作球形全景图。我尝试用 OpenCV 来做，但结果证明这是浪费时间，因为当我尝试缝合天花板或地板的照片时，它几乎总是崩溃。此外，它占用了大量的cpu内存。

我刚刚在浏览 Apple 文档时发现 Apple Vision 具有图像注册功能。在花费数小时和数小时后，我无法弄清楚如何使用它。文档很糟糕，根本没有使用示例。

我真正需要的只是一个教程或演示或缝合两个或更多图像的功能，我可以从那里开始。任何帮助将不胜感激，因为我的工作取决于它。

我想知道理论上是否可以检测墙壁边缘/线条（如图所示）？

我所能实现的就是检测相机预览可见的矩形顶点。但我们不能将真正的墙壁视为矩形。那么，是否有任何先进的技术（例如通过使用 Core ML 或其他方法进行训练）来实现这一目标？