23

我正在尝试实时显示来自相机的 UIImage，但似乎我的 UIImageView 没有正确显示图像。这是AVCaptureVideoDataOutputSampleBufferDelegate必须实现的方法

- (void)captureOutput:(AVCaptureOutput *)captureOutput 
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
       fromConnection:(AVCaptureConnection *)connection
{ 
    // Create a UIImage from the sample buffer data
    UIImage *theImage = [self imageFromSampleBuffer:sampleBuffer];
//    NSLog(@"Got an image! %f %f", theImage.size.width, theImage.size.height);
//    NSLog(@"The image view is %@", imageView);
//    UIImage *theImage = [[UIImage alloc] initWithData:[NSData 
//        dataWithContentsOfURL:[NSURL 
//        URLWithString:@"http://farm4.static.flickr.com/3092/2915896504_a88b69c9de.jpg"]]];
    [self.session stopRunning];
    [imageView setImage: theImage];
}

为了解决简单的问题：

  • 使用 UIImagePickerController 不是一个选项（最终我们将实际对图像进行处理）
  • 我知道正在调用处理程序（进行了 NSLog 调用，我看到了输出）
  • 我知道我正确设置了 IBOutlet 声明。如果我使用上面的注释代码从 web 加载任意图像而不是简单地发送setImage:theImage到 imageView，则图像被正确加载（并且对 NSLog 的第二次调用报告了一个非 nil 对象）。
  • 至少在基本范围内，我得到的图像imageFromSampleBuffer:很好，因为 NSLog 报告的大小为 360x480，这是我预期的大小。

我正在使用的代码是AVFoundationApple 最近发布的代码片段，可在此处获得。

特别是，我使用的代码设置了AVCaptureSession对象和朋友（我对此知之甚少），并从核心视频缓冲区创建 UIImage 对象（这就是imageFromSampleBuffer方法）。

最后，如果我尝试使用返回的 by发送drawInRect:到普通的 UIView 子类，我可以让应用程序崩溃，而如果我使用上述 URL 中的一个，它不会崩溃。这是崩溃内部调试器的堆栈跟踪（我得到一个 EXC_BAD_ACCESS 信号）：UIImageimageFromSamplerBufferUIImage

#0  0x34a977ee in decode_swap ()
#1  0x34a8f80e in decode_data ()
#2  0x34a8f674 in img_decode_read ()
#3  0x34a8a76e in img_interpolate_read ()
#4  0x34a63b46 in img_data_lock ()
#5  0x34a62302 in CGSImageDataLock ()
#6  0x351ab812 in ripc_AcquireImage ()
#7  0x351a8f28 in ripc_DrawImage ()
#8  0x34a620f6 in CGContextDelegateDrawImage ()
#9  0x34a61fb4 in CGContextDrawImage ()
#10 0x321fd0d0 in -[UIImage drawInRect:blendMode:alpha:] ()
#11 0x321fcc38 in -[UIImage drawInRect:] ()

编辑：这里有一些关于那段代码返回的 UIImage 的更多信息。

使用此处描述的方法，我可以获取像素并打印它们，它们乍一看还不错（例如，alpha 通道中的每个值都是 255）。但是，缓冲区大小略有不同。我从该 URL 从 Flickr 获得的图像是 375x500，它[pixelData length]给了我750000 = 375*500*4，这是预期值。但是，从返回的图像的像素数据imageFromSampleBuffer:有 size 691208 = 360*480*4 + 8，因此像素数据中有 8 个额外的字节。CVPixelBufferGetDataSize本身返回这个off-by-8 值。我想了一会儿，这可能是由于在内存中对齐的位置分配缓冲区，但 691200 是 256 的倍数，所以这也不能解释。这种大小差异是我能分辨出的两个 UIImage 之间的唯一区别，它可能会导致麻烦。尽管如此，没有理由为缓冲区分配额外的内存会导致 EXC_BAD_ACCESS 违规。

非常感谢您的帮助，如果您需要更多信息，请告诉我。

4

5 回答 5

41

我遇到了同样的问题......但我发现了这个旧帖子，它创建 CGImageRef 的方法有效！

http://forum.unity3d.com/viewtopic.php?p=300819

这是一个工作示例：

app has a member UIImage theImage;

// Delegate routine that is called when a sample buffer was written
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer  fromConnection:(AVCaptureConnection *)connection
{
        //... just an example of how to get an image out of this ...

    CGImageRef cgImage = [self imageFromSampleBuffer:sampleBuffer];
    theImage.image =     [UIImage imageWithCGImage: cgImage ];
    CGImageRelease( cgImage );
}

- (CGImageRef) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer // Create a CGImageRef from sample buffer data
{
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    CVPixelBufferLockBaseAddress(imageBuffer,0);        // Lock the image buffer 

    uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0);   // Get information of the image 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 

    CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    CGImageRef newImage = CGBitmapContextCreateImage(newContext); 
    CGContextRelease(newContext); 

    CGColorSpaceRelease(colorSpace); 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 
    /* CVBufferRelease(imageBuffer); */  // do not call this!

    return newImage;
}
于 2010-07-26T13:47:32.900 回答
10

Apple 的技术问答 QA1702 现在很好地解释了视频帧的实时捕获：

https://developer.apple.com/library/ios/#qa/qa1702/_index.html

于 2012-02-02T04:17:04.350 回答
7

设置正确的输出格式也很重要。使用默认格式设置时，我遇到了图像捕获问题。它应该是：

[videoDataOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithUnsignedInt:kCVPixelFormatType_32BGRA] forKey:(NSString*)kCVPixelBufferPixelFormatTypeKey]];
于 2012-10-19T11:30:53.940 回答
5

Ben Loulier写了一篇关于如何做到这一点的好文章。

我以他的示例应用程序为起点，它对我有用。imageFromSamplerBuffer除了用用CGBitmapContextCreate 创建 CGImageRef 的东西替换该函数外，他还在dispatch_get_main_queue()设置输出样本缓冲区委托时使用主调度队列（通过）。这不是最好的解决方案，因为它需要一个串行队列，据我所知，主队列不是串行队列。因此，虽然不能保证您以正确的顺序获取帧，但到目前为止它似乎对我有用:)

于 2010-07-27T01:48:25.623 回答
1

另一件需要注意的事情是你是否真的UIImageView在主线程上更新你的：如果你不是，很可能它不会反映任何变化。

captureOutput:didOutputSampleBuffer:fromConnection委托方法通常在后台线程上调用。所以你想这样做：

- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
       fromConnection:(AVCaptureConnection *)connection
{   
    CFRetain(sampleBuffer);

    [[NSOperationQueue mainQueue] addOperationWithBlock:^{

        //Now we're definitely on the main thread, so update the imageView:
        UIImage *capturedImage = [self imageFromSampleBuffer:sampleBuffer];

        //Display the image currently being captured:
        imageView.image = capturedImage;

        CFRelease(sampleBuffer);
    }];
}
于 2015-03-27T14:58:35.213 回答