1

我有一个网络摄像头，可以从中读取 NV12 格式的帧。我将帧转换为 RGB，然后转换为 YV12，我的目标是将它们转换回 NV12，以进行验证。我正在做这样的事情：

cv::cvtColor(InputFrame, InputRGB, cv::COLOR_YUV2RGB_NV12);
cv::cvtColor(InputRGB, OutputYV12, cv::COLOR_RGB2YUV_YV12);

我编写了以下函数来从 YV12 转换为 NV12（类似于这篇文章 - Convert YV12 to NV21 (YUV YCrCb 4:2:0)），这似乎不起作用。我得到一个灰度图像，在上半部分混合了模糊的洋红色副本，在生成的图像的下半部分混合了模糊的绿色副本。

在下面的函数中，我假设 V 平面位于矩阵中 U 平面旁边的布局。我不知道这是否正确。我首先尝试遵循 YV12 的布局，如https://docs.microsoft.com/en-us/windows/win32/medfound/recommended-8-bit-yuv-formats-for-video-rendering所示U/ V 型飞机位于彼此下方而不是彼此相邻，但这导致了坠机。

void YV12toNV12(const cv::Mat& input, cv::Mat& output, int width, int height) {

        input.copyTo(output);

        for (int row = 0; row < height/2; row++) {
                for (int col = 0; col < width/2; col++) {
                        output.at<uchar>(height + row, 2 * col) = input.at<uchar>(height + row, col);
                        output.at<uchar>(height + row, 2 * col + 1) = input.at<uchar>(height + row, width/2 + col);
                }
        }
}

任何提示表示赞赏。

4

1 回答 1

1

使用索引应用转换是令人困惑的。
我的建议是将 YV12 图像视为 3 个单独的图像。

  • Y（宽 x 高）- 顶部图像。
  • V（宽/2 x 高/2） - 低于 Y
  • U（宽/2 x 高/2） - 低于 V

根据以下文档：

YV12 与 I420 完全相同，但 U 面和 V 面的顺序颠倒了。

I420 的订购方式如下：
在此处输入图像描述

OpenCV 支持BGR 到 I420的转换，并且与 YV12 相比，文档格式更多，因此我们最好从 I420 开始测试，然后继续使用 YV12（通过切换 U 和 V 通道）。

主要思想是用 cv:Mat 对象“包装” V 和 U 矩阵（data通过向输入指针添加偏移量来设置矩阵data指针）。

  • inV 位于Y 之后（每个轴的分辨率为一半，步幅为一半）：
    cv::Mat inV = cv::Mat(cv::Size(width/2, height/2), CV_8UC1, (unsigned char*)input.data + stride*height, stride/2);
  • inU位于 V 之后（每个轴的分辨率为一半，步幅为一半）：
    cv::Mat inU = cv::Mat(cv::Size(width/2, height/2), CV_8UC1, (unsigned char*)input.data + stride*height + (stride/2)*(height/2), stride/2);

这是转换函数：

void YV12toNV12(const cv::Mat& input, cv::Mat& output) {
    int width = input.cols;
    int height = input.rows * 2 / 3;
    int stride = (int)input.step[0];    //Rows bytes stride - in most cases equal to width

    input.copyTo(output);

    //Y Channel
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY

    //V Input channel
    // VVVVVVVV
    // VVVVVVVV
    // VVVVVVVV
    cv::Mat inV = cv::Mat(cv::Size(width / 2, height / 2), CV_8UC1, (unsigned char*)input.data + stride * height, stride / 2);   // Input V color channel (in YV12 V is above U).

    //U Input channel
    // UUUUUUUU
    // UUUUUUUU
    // UUUUUUUU
    cv::Mat inU = cv::Mat(cv::Size(width / 2, height / 2), CV_8UC1, (unsigned char*)input.data + stride * height + (stride / 2)*(height / 2), stride / 2);  //Input V color channel (in YV12 U is below V).

    for (int row = 0; row < height / 2; row++) {
        for (int col = 0; col < width / 2; col++) {
            output.at<uchar>(height + row, 2 * col) = inU.at<uchar>(row, col);
            output.at<uchar>(height + row, 2 * col + 1) = inV.at<uchar>(row, col);
        }
    }
}

实施和测试：

使用FFmpeg命令行工具创建 NV12 示例图像：

ffmpeg -y -f lavfi -i testsrc=size=192x108:rate=1:duration=1 -pix_fmt nv12 -f rawvideo test.nv12
ffmpeg -y -f rawvideo -pixel_format gray -video_size 192x162 -i test.nv12 -pix_fmt gray test_nv12.png

使用 MATLAB（或 OCTAVE）创建 YV12 示例图像：

NV12 = imread('test_nv12.png');
Y = NV12(1:108, :);
U = NV12(109:end, 1:2:end);
V = NV12(109:end, 2:2:end);

f = fopen('test.yv12', 'w');
fwrite(f, Y', 'uint8');
fwrite(f, V', 'uint8');
fwrite(f, U', 'uint8');
fclose(f);

f = fopen('test.yv12', 'r');
I = fread(f, [192, 108*1.5], '*uint8')';
fclose(f);
imwrite(I, 'test_yv12.png');

C++ 实现（I420toNV12 和 YV12toNV12）：

#include "opencv2/opencv.hpp"

void YV12toNV12(const cv::Mat& input, cv::Mat& output) {
    int width = input.cols;
    int height = input.rows * 2 / 3;
    int stride = (int)input.step[0];    //Rows bytes stride - in most cases equal to width

    input.copyTo(output);

    //Y Channel
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY

    //V Input channel
    // VVVVVVVV
    // VVVVVVVV
    // VVVVVVVV
    cv::Mat inV = cv::Mat(cv::Size(width / 2, height / 2), CV_8UC1, (unsigned char*)input.data + stride * height, stride / 2);   // Input V color channel (in YV12 V is above U).

    //U Input channel
    // UUUUUUUU
    // UUUUUUUU
    // UUUUUUUU
    cv::Mat inU = cv::Mat(cv::Size(width / 2, height / 2), CV_8UC1, (unsigned char*)input.data + stride * height + (stride / 2)*(height / 2), stride / 2);  //Input V color channel (in YV12 U is below V).

    for (int row = 0; row < height / 2; row++) {
        for (int col = 0; col < width / 2; col++) {
            output.at<uchar>(height + row, 2 * col) = inU.at<uchar>(row, col);
            output.at<uchar>(height + row, 2 * col + 1) = inV.at<uchar>(row, col);
        }
    }
}


void I420toNV12(const cv::Mat& input, cv::Mat& output) {
    int width = input.cols;
    int height = input.rows * 2 / 3;
    int stride = (int)input.step[0];    //Rows bytes stride - in most cases equal to width
    
    input.copyTo(output);

    //Y Channel
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    // YYYYYYYYYYYYYYYY
    
    //U Input channel
    // UUUUUUUU
    // UUUUUUUU
    // UUUUUUUU
    cv::Mat inU = cv::Mat(cv::Size(width / 2, height / 2), CV_8UC1, (unsigned char*)input.data + stride * height, stride / 2);   // Input U color channel (in I420 U is above V).

    //V Input channel
    // VVVVVVVV
    // VVVVVVVV
    // VVVVVVVV
    cv::Mat inV = cv::Mat(cv::Size(width/2, height/2), CV_8UC1, (unsigned char*)input.data + stride*height + (stride/2)*(height/2), stride/2);  //Input V color channel (in I420 V is below U).

    for (int row = 0; row < height / 2; row++) {
        for (int col = 0; col < width / 2; col++) {
            output.at<uchar>(height + row, 2 * col) = inU.at<uchar>(row, col);
            output.at<uchar>(height + row, 2 * col + 1) = inV.at<uchar>(row, col);
        }
    }
}


int main()
{   
    //cv::Mat input = cv::imread("test_I420.png", cv::IMREAD_GRAYSCALE);
    //cv::Mat output;
    //I420toNV12(input, output);
    //cv::imwrite("output_NV12.png", output);

    cv::Mat input = cv::imread("test_YV12.png", cv::IMREAD_GRAYSCALE);
    cv::Mat output;

    YV12toNV12(input, output);
    cv::imwrite("output_NV12.png", output);

    cv::imshow("input", input);
    cv::imshow("output", output);
    cv::waitKey(0);
    cv::destroyAllWindows();
}

使用 MATLAB（或 OCTAVE）测试输出：

A = imread('test_nv12.png');
B = imread('output_NV12.png');
display(isequal(A, B))

输入（YV12为灰度图）：
在此处输入图像描述

输入（NV12 为灰度图像）：
在此处输入图像描述

于 2021-07-28T17:46:42.393 回答