7

我有一个 FFMPEG AVFrame，YUVJ420P我想将它转换为CVPixelBufferRefwith CVPixelBufferCreateWithBytes。我想这样做的原因是使用 AVFoundation 来显示/编码帧。

我选择kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange并尝试转换它，因为 AVFrame 在三个平面上有数据 Y480 Cb240 Cr240。根据我的研究，这与选定的kCVPixelFormatType. 由于是双平面的，我需要将其转换为包含Y480和CbCr480交错的缓冲区。

我试图用 2 个平面创建一个缓冲区：

  • frame->data[0]在第一架飞机上，
  • frame->data[1]并frame->data[2]在第二个平面上交错。

但是，我-6661 (invalid a)从以下位置收到返回错误CVPixelBufferCreateWithBytes：

"Invalid function parameter. For example, out of range or the wrong type."

我根本没有图像处理方面的专业知识，因此任何可以让我以正确方法开始解决此问题的文档指针都将受到赞赏。我的 C 技能也不是一流的，所以也许我在这里犯了一个基本错误。

    uint8_t **buffer = malloc(2*sizeof(int *));
    buffer[0] = frame->data[0];
    buffer[1] = malloc(frame->linesize[0]*sizeof(int));
    for(int i = 0; i<frame->linesize[0]; i++){
        if(i%2){
            buffer[1][i]=frame->data[1][i/2];
        }else{
            buffer[1][i]=frame->data[2][i/2];
        }
    }

    int ret = CVPixelBufferCreateWithBytes(NULL, frame->width, frame->height, kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange, buffer, frame->linesize[0], NULL, 0, NULL, cvPixelBufferSample)

该帧AVFrame带有来自 FFMPEG 解码的 rawData。

4

1 回答 1

7

我的 C 技能也不是一流的，所以我可能在这里犯了一个基本错误。

你正在制作几个：

  • 你应该使用CVPixelBufferCreateWithPlanarBytes(). 不知道是否CVPixelBufferCreateWithBytes()可以用来创建平面视频帧；如果是这样，它将需要一个指向“平面描述符块”的指针（我似乎无法在文档中找到该结构）。
  • frame->linesize[0]是每行的字节数，而不是整个图像的大小。文档不清楚，但用法相当明确。
  • frame->linesize[0]指 Y 平面；你关心紫外线飞机。
  • 来自哪里sizeof(int)？
  • 你过去了cvPixelBufferSample；你可能是说&cvPixelBufferSample。
  • 您没有传递发布回调。文档没有说你可以通过NULL。

尝试这样的事情：

size_t srcPlaneSize = frame->linesize[1]*frame->height;
size_t dstPlaneSize = srcPlaneSize *2;
uint8_t *dstPlane = malloc(dstPlaneSize);
void *planeBaseAddress[2] = { frame->data[0], dstPlane };

// This loop is very naive and assumes that the line sizes are the same.
// It also copies padding bytes.
assert(frame->linesize[1] == frame->linesize[2]);
for(size_t i = 0; i<srcPlaneSize; i++){
    // These might be the wrong way round.
    dstPlane[2*i  ]=frame->data[2][i];
    dstPlane[2*i+1]=frame->data[1][i];
}

// This assumes the width and height are even (it's 420 after all).
assert(!frame->width%2 && !frame->height%2);
size_t planeWidth[2] = {frame->width, frame->width/2};
size_t planeHeight[2] = {frame->height, frame->height/2};
// I'm not sure where you'd get this.
size_t planeBytesPerRow[2] = {frame->linesize[0], frame->linesize[1]*2};
int ret = CVPixelBufferCreateWithPlanarBytes(
        NULL,
        frame->width,
        frame->height,
        kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange,
        NULL,
        0,
        2,
        planeBaseAddress,
        planeWidth,
        planeHeight,
        planeBytesPerRow,
        YOUR_RELEASE_CALLBACK,
        YOUR_RELEASE_CALLBACK_CONTEXT,
        NULL,
        &cvPixelBufferSample);

内存管理留给读者作为练习，但对于测试代码，您可能会通过传入NULL而不是发布回调来逃避。

于 2013-03-07T03:49:47.127 回答