问题标签 [apple-vision]

我正在尝试让一个简单的矩形跟踪控制器运行，并且我可以很好地进行矩形检测，但是跟踪请求总是以我无法找到的原因而失败。

有时跟踪请求会在失败之前触发它的回调几次，有时它会在单个回调发生之前立即失败。我觉得这与我提交请求的方式有关，但我无法深入了解它。

这是视图控制器的代码

错误正在打印：

错误域 = com.apple.vis 代码 = 9“内部错误：跟踪其中一个角失败，置信度 = 0.000000；阈值 = 0.650000” UserInfo={NSLocalizedDescription=内部错误：跟踪其中一个角失败，置信度 = 0.000000 ; 阈值 = 0.650000}

这是在跟踪请求第一次失败后的每一帧输出的，并且请求永远不会自行恢复。这try sequenceHandler.perform(requests, on: pixelBuffer, orientation: .right)是引发错误的行（然后我打印）。

我查看了散布在网络上的对象观察示例，它们似乎需要在每一帧都发出新的跟踪请求来跟踪对象。我试过VNTrackRectangleRequest在didTrackRectangle函数中创建一个新的，所以每个帧都有一个新的请求，但我遇到了同样的问题。

非常感谢您对此的任何帮助。

Apple 在 iOS 11 中有新功能，允许您使用视觉框架在没有模型的情况下进行对象检测。我尝试了这些新的 API，但发现VNDetectRectanglesRequest 的结果并不好。我是否正确使用 API？

这是一个很好的案例：

还有一些不好的情况：

这是我的代码：

我试图在我的相机预览层的实时预览中获得一个检测区域。

是否有可能，假设有一个实时提要并且您启用了面部检测，并且当您环顾四周时，它只会在特定区域的面部周围放置一个框，例如屏幕中央的一个矩形。预览中矩形之外的所有其他人脸都没有被检测到？

我正在使用 Vision、iOS、Swift。

与许多其他开发人员一样，我也投入了 Apple 的新 ARKit 技术。这很棒。然而，对于一个特定的项目，我希望能够识别场景中的（现实生活）图像，或者在其上投射一些东西（就像 Vuforia 对其目标图像所做的那样），或者使用它来触发事件我的应用程序。

在我研究如何实现这一点时，我偶然发现了 Apple 的 Vision 和 CoreML 框架。这似乎很有希望，尽管我还没有完全理解它。

据我了解，我应该能够通过使用 Vision 框架找到矩形并将它们输入到 CoreML 模型中来做我想做的事情，该模型只是将它与我​​在模型中预定义的目标图像进行比较。然后它应该能够吐出它找到的目标图像。

虽然这在我的脑海中听起来不错，但我还没有找到一种方法来做到这一点。我将如何创建这样的模型，甚至有可能吗？

我正在尝试从给定图像中检测对象。通过研究，我发现我们可以使用以下过程检测和跟踪视频的对象：

我们可以有类似metadataOutputRectConvertedimageView 的方法吗？每当用户点击该对象时，我都会尝试检测对象 rect。如何实现？

我制作了一个实时翻译应用程序，它可以识别对象并使用用户的相机对其进行翻译。它在我的 iPhone 6s 上运行良好，并且在任何模拟器中都不会崩溃，但是当我在 iPhone 6 上运行它时，它会在我尝试切换到相机源时崩溃。苹果还表示它也会在 iPad 上崩溃。

某些设备只是不支持 Vision API 还是我的代码有问题？

这是视图控制器的代码，它进入主屏幕，在此进行相机馈送和视觉处理。

导入 UIKit

类 FirstLaunchViewController: UIViewController {

}

我使用 VNImageRequestHandler 和 VNDetectRectanglesRequest 来处理在图像中查找矩形的请求。但是由于iOS11中的Vision只提供了条码、矩形、人脸查找功能，但是我想在图片中查找汽车，要在图片中查找指定对象需要改什么代码呢？

在会话 506 的 WWDC 2017 视频中。第一个演示中的一段代码如下所示：

自我的使用。表示它应该是来自 ViewController 的属性。鉴于此exifOrientationFromDeviceOrientation()方法在 UIViewController 类中不存在，我认为 ViewController 符合授予该功能的协议。有人可以指出是哪个协议吗？

根据 Apple 的文档，矩形检测请求的最大和最小纵横比的值可以在 0.0 到 1.0 之间。我相信纵横比被定义为宽度/高度，这是否意味着视觉框架无法检测宽度大于高度的矩形？使用大于 1.0 的值测试纵横比不会导致任何编译器错误，但它似乎没有任何效果。在以下屏幕上检测到的矩形为 20x30，因此其纵横比为 0.66。它似乎确实适用于 0.0 到 1.0 范围内的值。

除此之外，该框架将圆形检测为矩形（也感谢对此的任何解释）。

此致！

使用 Xcode9 和 Swift4 编码： 示例 Xcode 项目

我在下面的链接中创建了 Xcode 项目，以便探索 Apple 使用 Xcode9 发布的新视觉框架。它基于对我在 GitHub 和 Youtube 上找到的代码所做的调整，但我不明白为什么 CGImagePropertyOrientation.right 在 VNImageRequestHandler 的方向参数上。有人可以解释一下吗？

GitHub Xcode 项目