2

我正在使用 BlackMagic DeckLink SDK 尝试从 BM 设备捕获帧。

我正在尝试从回调中获取像素数据并将其转换为 aIDeckLinkVideoInputFrame以便能够使用 AVFoundation 和 将其写入磁盘。我正在使用的代码似乎正在工作，除了写入磁盘的所有帧都是绿色的。（BlackMagic 在屏幕上生成预览的示例代码确实显示了图像，因此设备和设备设置应该没问题）。DeckLinkController::VideoInputFrameArrivedCVPixelBufferRefAVAssetWriterInputPixelBufferAdaptorAVAssetWriter

AVAssetWriter设置如下：

writer = [[AVAssetWriter assetWriterWithURL:destinationUrl
                                  fileType:AVFileTypeAppleM4V
                                     error:&error] retain];
if(error)
    NSLog(@"ERROR: %@", [error localizedDescription]);

NSMutableDictionary * outputSettings = [[NSMutableDictionary alloc] init];

[outputSettings setObject: AVVideoCodecH264
                   forKey: AVVideoCodecKey];
[outputSettings setObject: [NSNumber numberWithInt:1920]
                   forKey: AVVideoWidthKey];
[outputSettings setObject: [NSNumber numberWithInt:1080]
                   forKey: AVVideoHeightKey];

NSMutableDictionary * compressionProperties = [[NSMutableDictionary alloc] init];
[compressionProperties setObject: [NSNumber numberWithInt: 1000000]
                          forKey: AVVideoAverageBitRateKey];
[compressionProperties setObject: [NSNumber numberWithInt: 16]
                          forKey: AVVideoMaxKeyFrameIntervalKey];
[compressionProperties setObject: AVVideoProfileLevelH264Main31
                          forKey: AVVideoProfileLevelKey];

[outputSettings setObject: compressionProperties
                   forKey: AVVideoCompressionPropertiesKey];

writerVideoInput = [[AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:outputSettings] retain];

NSMutableDictionary * pixBufSettings = [[NSMutableDictionary alloc] init];

[pixBufSettings setObject: [NSNumber numberWithInt: kCVPixelFormatType_422YpCbCr8_yuvs]
                   forKey: (NSString *) kCVPixelBufferPixelFormatTypeKey];
[pixBufSettings setObject: [NSNumber numberWithInt: 1920]
                   forKey: (NSString *) kCVPixelBufferWidthKey];
[pixBufSettings setObject: [NSNumber numberWithInt: 1080]
                   forKey: (NSString *) kCVPixelBufferHeightKey];

writerVideoInput.expectsMediaDataInRealTime = YES;

writer.shouldOptimizeForNetworkUse = NO;

adaptor = [[AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:writerVideoInput
                                                                           sourcePixelBufferAttributes:pixBufSettings] retain];
[writer addInput:writerVideoInput];

作为参考，这些输出设置和压缩选项应该是正确的，但我尝试了几种不同的选择。

当一个框架从设备进来时，我将它转换CVPixelBufferRef为如下：

void *videoData;
int64_t frameTime;
int64_t frameDuration;

videoFrame->GetBytes(&videoData);
videoFrame->GetStreamTime(&frameTime, &frameDuration, 3000);

CMTime presentationTime = CMTimeMake(frameDuration, 3000);

CVPixelBufferRef buffer = NULL;

CVPixelBufferPoolCreatePixelBuffer(NULL, adaptor.pixelBufferPool, &buffer);
CVPixelBufferLockBaseAddress(buffer, 0);

void *rasterData = CVPixelBufferGetBaseAddress(buffer);
memcpy(rasterData, videoData, (videoFrame->GetRowBytes()*videoFrame->GetHeight()));

CVPixelBufferUnlockBaseAddress(buffer, 0);

if (buffer)
{
    if(![adaptor appendPixelBuffer:buffer withPresentationTime:presentationTime]) {
        NSLog(@"ERROR appending pixelbuffer: %@", writer.error);
        [writerVideoInput markAsFinished];
        if(![writer finishWriting])
            NSLog(@"ERROR finishing writing: %@", [writer.error localizedDescription]);
    }
    else {
        NSLog(@"SUCCESS");
        if(buffer)
            CVPixelBufferRelease(buffer);
    }
}

此代码将帧附加到 AVAssetWriterInputPixelBufferAdaptor，但所有帧都是绿色的。

谁能看到我在这里做错了什么，或者有人有使用 AVFoundation 使用 BlackMagic Decklink SDK 捕获和压缩帧的经验吗？

4

1 回答 1

3

当您看到“绿色”并在 YUV 颜色空间中工作时，您看到缓冲区中的值为 0。由于 AVWriter 正在写入帧，因此“缓冲区”的值可能为 0。我看到了几种可能发生的方式。

1）您要附加的缓冲区很可能初始化为 0，因此您的副本可能会失败。在您的代码中，如果 (videoFrame->GetRowBytes()*videoFrame->GetHeight()) 以某种方式计算为 0，则可能发生这种情况。这似乎是不可能的，但我会检查一下。

2) CVPixelBufferGetBaseAddress 要么返回错误的指针，要么 PixelBuffer 本身的格式错误，要么可能无效（但由于 API 中的保护措施而没有崩溃）。

3) 无论出于何种原因，'videoData' 本身都是 0。当 DeckLinkCaptureDelegate 不喜欢输入格式时，它会返回没有任何内容的帧（通常这是因为传递给 EnableVideoInput 的 BMDDisplayMode 与您的视频源不匹配。

int flags=videoFrame->GetFlags();
if (flags & bmdFrameHasNoInputSource)
{
    //our input format doesn't match the source
}

除了更改源模式并重试之外，快速检查是将 memcpy 行更改为以下内容：

memset(rasterData, 0x3f, 1920*1080*2);

如果您仍然看到绿框，请仔细查看#2。如果您看到不同颜色的帧，那么您的问题是 #1 或 #3 并且您的视频输入的分辨率很可能与您选择的 BMDDisplayMode 不匹配。

还有一件事要注意。我认为您创建演示时间的行是错误的。它可能应该是（注意将 frameDuration 更改为 frameTime：

CMTime presentationTime = CMTimeMake(frameTime, 3000);
于 2013-09-05T16:56:45.247 回答