问题标签 [apple-vision]

我正在寻找不同的解决方案来解决我遇到的问题，现在我正在研究 iOS Vision api。

有谁知道是否可以将 Vision 提供的文本/特征检测方法用于图像中的自定义对象或自定义字体？

我正在使用一个

VNDetectFaceLandmarksRequest

结合一个

VNSequenceRequestHandler

处理来自

AVCaptureVideoData输出

委托调用：

我希望能够实时显示面部地标，以便用户可以看到它们覆盖在 AVCaptureVideoPreviewLayer 上。

因此，当调用 AVCaptureVideoDataOutput 委托时，我会调用：

CIImage 来自委托提供的 CMSampleBuffer。

问题是地标滞后。当我将脸移到相机前时，地标的更新速度很慢。

如何更新地标，以便它们跟随面部运动而不会落后？

我正在使用 CoreML SqueezeNet 模型从图像中检测纸张或矩形。

我根据苹果文档创建了模型和请求。

上面的代码工作正常。但我想检测纸张，因此使用 [VNRectangleObservation] 而不是 [VNClassificationObservation]。这会导致我的应用程序崩溃。我在任何地方都找不到解决这个问题的方法。我想使用 [VNRecatangleObservation] 的主要原因是捕获检测到的图像并在检测到的图像上绘制红色叠加层。

我一直在尝试开始使用 CoreML（Apple 的机器学习库）。我正在按照这些教程开始

1) https://www.appcoda.com/coreml-introduction/

2) https://www.raywenderlich.com/164213/coreml-and-vision-machine-learning-in-ios-11-tutorial

第一个教程使用 Inception V3，第二个教程使用 Places205-GoogLeNet 模型进行解释。

在所有基本设置步骤之后

Places205-GoogLeNet 教程使用如下代码

第二个代码使用这个

这两种方法有什么区别，哪一种更推荐，因为这两种方法都可以用来传递像素缓冲区并显示结果？

通过Vision框架，我能够检测到二维码。接下来我想做的是使用 ARKit 将 SCNPlane 准确地放置在 QRCode 上。我编写了下面的代码来查找 QRCode 在现实世界中的位置。但是 SCNPlane 一直添加在错误的位置。下面代码中的条形码变量是 VNBarcodeObservation 类型。

也许你们中的一个人知道我做错了什么。

编辑：

添加了当前情况的图片。左上角添加了红色平面。然而，这个平面必须准确地添加到 te QRCode 上。

如何在头部或相机移动时使用 iOS 11 中的新视觉框架来跟踪视频中的眼睛？（使用前置摄像头）。

我发现VNDetectFaceLandmarksRequest我的 iPad 速度非常慢 - 地标请求大约在 1-2 秒内执行一次。我觉得我做错了什么，但苹果网站上没有太多文档。

我已经在 Vision 上观看了 WWDC 2017 视频：

https://developer.apple.com/videos/play/wwdc2017/506/

以及阅读本指南：

https://github.com/jeffreybergier/Blog-Getting-Started-with-Vision

我的代码现在看起来大致是这样的（对不起，它是 Objective-C）：

调用-performRequests:..与视频输出相同的队列是否正确？根据我的实验，此方法似乎同步调用请求的完成处理程序。我不应该在每一帧都调用这个方法吗？

为了加快速度，我还尝试VNTrackObjectRequest在视频上检测到地标后分别跟踪每只眼睛（通过从地标的区域点构建边界框），但这效果不佳（仍在尝试弄清楚）。

在视频上跟踪眼睛的最佳策略是什么？我应该跟踪面部矩形，然后在其区域内执行地标请求（会更快）吗？

我一直在尝试使用 coreML 创建一个 IOS 应用程序，我在 Keras 中训练了一个卷积神经网络，当我使用 CoreMLTools 将此模型转换为 CoreML 模型时，它显示输出是一个多维数组，但我希望它是类概率。如何在 Keras 中生成带有类标签的 .txt 文件？

这是我用来生成 coreML 模型的代码：

When I execute my computer vision app, it gives me the following error:

My CNN has been trained on the chars74K dataset, and has been trained only on the 26 capital letters. I thought that meant that I had 26 classes in my network, and the output layer of my network therefore consists of 26 neurons with the softmax function. What am I doing wrong here? This is the rest of the text in the console:

我正在使用一个使用 128x128 像素输入图像的 Keras 网络，该网络在 chars74K 数据集上的准确率超过 85%。当我将此网络转换为 CoreML 模型时，结果总是 100% 确定但总是错误的，从来没有正确的字母。我的 Keras 网络的代码可以在这里找到：https ://github.com/thijsheijden/chars74kCNN

我用来转换为 CoreMLModel 的代码如下：

我的 IOS 应用程序的代码可以在这里找到：https ://github.com/thijsheijden/Visionary

我将不胜感激任何帮助，因为我真的坚持这一点！提前致谢！

我目前正在使用带有 ARKit 的 Vision 来查找框架中的任何面孔。我用来执行此操作的代码如下：

我正在使用以下代码尝试将这些返回的矩形映射到给定的面：

问题是这没有正确地将面部矩形映射到屏幕上的点。我的 viewController 的 bounds 属性设置为bounds = sceneView.bounds，其中 sceneView 是我的 AR 场景。当面部矩形出现时，它们通常不会出现，它们将显示为高度过高而宽度不足的细长矩形。我在映射代码中做错了什么？问题的图像如下。