9

我想检测球并让 AR 模型与之交互。我使用 opencv 进行球检测并发送球中心，我可以使用它hitTest来获取sceneView. 我一直在转换CVPixelBuffer为UIImage使用以下功能：

static func convertToUIImage(buffer: CVPixelBuffer) -> UIImage?{
    let ciImage = CIImage(cvPixelBuffer: buffer)
    let temporaryContext = CIContext(options: nil)
    if let temporaryImage = temporaryContext.createCGImage(ciImage, from: CGRect(x: 0, y: 0, width: CVPixelBufferGetWidth(buffer), height: CVPixelBufferGetHeight(buffer)))
    {
        let capturedImage = UIImage(cgImage: temporaryImage)
        return capturedImage
    }
    return nil
}

这给了我旋转的图像：

在此处输入图像描述

然后我发现使用以下方法改变方向：

let capturedImage = UIImage(cgImage: temporaryImage, scale: 1.0, orientation: .right)

虽然它在设备处于纵向时给出了正确的方向，但将设备旋转到横向再次给出了旋转的图像。

现在我正在考虑使用viewWillTransition. 但在此之前我想知道：

  1. 如果有其他方法可以转换正确方向的图像？
  2. 为什么会这样？
4

1 回答 1

14

1.有没有其他方法可以将图像转换为正确的方向？

您可以尝试使用snapshot()of ARSCNView(inherited from SCNView)，其中：

绘制视图的内容并将它们作为新的图像对象返回

所以如果你有一个像这样的对象：

@IBOutlet var arkitSceneView:ARSCNView!

你只需要这样做：

let imageFromArkitScene:UIImage? = arkitSceneView.snapshot()

2. 为什么会这样？

这是因为CVPixelBuffer来自ARFrame，即：

由正在运行的 AR 会话从设备摄像头（连续）捕获。

好吧，由于相机方向不会随着设备的旋转而改变（它们是分开的），为了能够将框架的方向调整到当前视图，您应该重新定位从相机捕获的图像应用仿射提取的变换displayTransform(for:viewportSize:)：

返回一个仿射变换，用于在标准化图像坐标和适合在屏幕上渲染相机图像的坐标空间之间进行转换。

你可以在这里找到很好的文档，用法示例：

let orient = UIApplication.shared.statusBarOrientation
let viewportSize = yourSceneView.bounds.size
let transform = frame.displayTransform(for: orient, viewportSize: viewportSize).inverted()
var finalImage = CIImage(cvPixelBuffer: pixelBuffer).transformed(by: transform)
于 2018-01-26T06:41:42.637 回答