rgb - 从 VP8 视频帧解码为 RGB

Question

在我的应用程序中，我们需要在屏幕上显示视频帧。我使用 libvpx 解码来自 WebM 的视频，但帧被解码为 YUV 格式（根据文档，VPX_IMG_FMT_I420）。我需要输出格式是 RGB 并且文档说图像支持 RGB 格式（VPX_IMG_FMT_RGB24）。我有一个转换 YUV->RGB 的公式：
R = Y + 1.13983 * (V - 128);
G = Y - 0.39465 * (U - 128) - 0.58060 * (V - 128)；
B = Y + 2.03211 * (U - 128);
但我认为VP8->YUV->RGB的转换太多了。有没有为转换函数设置输出帧格式的方法？

Answer 1

如果您负担得起使用Intel 的 IPP库，这里有一些 CPU 友好的代码，您可以尝试在您的项目中应用：

unsigned char*  mpRGBBuffer;

void VPXImageToRGB24(vpx_image_t* pImage, bool isUsingBGR)
{
   const unsigned int rgbBufferSize = pImage->d_w * pImage->d_h * 3;

   mpRGBBuffer - allocate your raw RGB buffer...

    const IppiSize  sz          = { pImage->d_w, pImage->d_h };
    const Ipp8u*    src[3]      = { pImage->planes[PLANE_Y],     pImage->planes[PLANE_U],     pImage->planes[PLANE_V]       };
    int             srcStep[3]  = { pImage->stride[VPX_PLANE_Y], pImage->stride[VPX_PLANE_U], pImage->stride[VPX_PLANE_V]   };

    if (isUsingBGR) ippiYCbCr420ToBGR_8u_P3C3R(src, srcStep, pDest, pImage->d_w * 3, sz);
    else            ippiYCbCr420ToRGB_8u_P3C3R(src, srcStep, pDest, pImage->d_w * 3, sz);
}

如果您不想使用 IPP，这里有一个链接到一些真正有用的核心工作和平。对此进行了测试，可以 100% 工作，但不确定 CPU 成本。

这是上面链接中的代码（以防链接失败......）

inline int clamp8(int v)
{
    return std::min(std::max(v, 0), 255);
} 

Image VP8Decoder::convertYV12toRGB(const vpx_image_t* img)
{
    Image rgbImg(img->d_w, img->d_h);
    std::vector<uint8_t>& data = rgbImg.data;

    uint8_t *yPlane = img->planes[VPX_PLANE_Y];
    uint8_t *uPlane = img->planes[VPX_PLANE_U];
    uint8_t *vPlane = img->planes[VPX_PLANE_V];

    int i = 0;
    for (unsigned int imgY = 0; imgY < img->d_h; imgY++) {
        for (unsigned int imgX = 0; imgX < img->d_w; imgX++) {
            int y = yPlane[imgY * img->stride[VPX_PLANE_Y] + imgX];
            int u = uPlane[(imgY / 2) * img->stride[VPX_PLANE_U] + (imgX / 2)];
            int v = vPlane[(imgY / 2) * img->stride[VPX_PLANE_V] + (imgX / 2)];

            int c = y - 16;
            int d = (u - 128);
            int e = (v - 128);

            // TODO: adjust colors ?

            int r = clamp8((298 * c           + 409 * e + 128) >> 8);
            int g = clamp8((298 * c - 100 * d - 208 * e + 128) >> 8);
            int b = clamp8((298 * c + 516 * d           + 128) >> 8);

            // TODO: cast instead of clamp8

            data[i + 0] = static_cast<uint8_t>(r);
            data[i + 1] = static_cast<uint8_t>(g);
            data[i + 2] = static_cast<uint8_t>(b);

            i += 3;
        }
    }
    return rgbImg;
}