34

我一直在尝试使用新的低级MediaCodec让 H264 编码与 Android 平板电脑上的相机捕获的输入一起工作。我在这方面遇到了一些困难，因为 MediaCodecAPI 的文档记录很差，但我终于得到了一些工作。

我将相机设置如下：

        Camera.Parameters parameters = mCamera.getParameters();
        parameters.setPreviewFormat(ImageFormat.YV12); // <1>
        parameters.setPreviewFpsRange(4000,60000);
        parameters.setPreviewSize(640, 480);            
        mCamera.setParameters(parameters);

对于编码部分，我将 MediaCodec 对象实例化如下：

    mediaCodec = MediaCodec.createEncoderByType("video/avc");
    MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 640, 480);
    mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 500000);
    mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
    mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar); // <2>
    mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);
    mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
    mediaCodec.start();

最终目标是创建一个 RTP 流（并与 Skype 对应），但到目前为止，我只是将原始 H264 直接流式传输到我的桌面。在那里，我使用以下 GStreamer 管道来显示结果：

gst-launch udpsrc port=5555 ! video/x-h264,width=640,height=480,framerate=15/1 ! ffdec_h264 ! autovideosink

一切都很好，除了颜色。我需要在计算机中设置 2 种颜色格式：一种用于相机预览（用 标记的行<1>），另一种用于 MediaCodec 对象（用 标记<2>）

<1>确定我使用的行的可接受值parameters.getSupportedPreviewFormats()。由此，我知道相机上唯一支持的格式是ImageFormat.NV21和ImageFormat.YV2。

对于<2>，我检索了类型video/avc的MediaCodecInfo.CodecCapabilities -object ，它是整数值 19（对应于MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar和 2130708361（与MediaCodecInfo.CodecCapabilities的任何值都不对应）。

上述以外的任何其他值都会导致崩溃。

结合这些设置会产生不同的结果，我将在下面展示。这是 Android 上的屏幕截图（即“真实”颜色）： 在 Android 平板电脑上输入 以下是 Gstreamer 显示的结果：

<1>= NV21, <2>= COLOR_FormatYUV420Planar NV21-COLOR_FormatYUV420Planar 的 Gstreamer 输出

<1>= NV21, <2>= 2130708361 NV21-2130708361 的 Gstreamer 输出

<1>= YV2, <2>= COLOR_FormatYUV420Planar YV2-COLOR_FormatYUV420Planar 的 Gstreamer 输出

<1>= YV2, <2>= 2130708361 YV2-2130708361 的 Gstreamer 输出

可以看出，这些都不令人满意。YV2 色彩空间看起来最有希望，但看起来红色 (Cr) 和蓝色 (Cb) 是颠倒的。我猜 NV21 看起来是交错的（但是，我不是这个领域的专家）。

由于目的是与 Skype 通信，我认为我不应该更改解码器（即 Gstreamer 命令），对吧？这是否要在 Android 中解决？如果是这样：如何解决？或者这可以通过添加某些 RTP 有效负载信息来解决吗？还有什么建议吗？

4

5 回答 5

7

我通过使用一个简单的函数在 Android 级别自己交换字节平面来解决它：

public byte[] swapYV12toI420(byte[] yv12bytes, int width, int height) {
    byte[] i420bytes = new byte[yv12bytes.length];
    for (int i = 0; i < width*height; i++)
        i420bytes[i] = yv12bytes[i];
    for (int i = width*height; i < width*height + (width/2*height/2); i++)
        i420bytes[i] = yv12bytes[i + (width/2*height/2)];
    for (int i = width*height + (width/2*height/2); i < width*height + 2*(width/2*height/2); i++)
        i420bytes[i] = yv12bytes[i - (width/2*height/2)];
    return i420bytes;
}
于 2012-12-10T10:38:12.387 回答
6

我认为交换适当的值更有效。

        int wh4 = input.length/6; //wh4 = width*height/4
        byte tmp;
        for (int i=wh4*4; i<wh4*5; i++)
            {
            tmp = input[i];
            input[i] = input[i+wh4];
            input[i+wh4] = tmp;
            }

也许更好，你可以代替

            inputBuffer.put(input);

以正确的顺序排列 3 个平面切片

            inputBuffer.put(input, 0, wh4*4);
            inputBuffer.put(input, wh4*5, wh4);
            inputBuffer.put(input, wh4*4, wh4);

我认为这应该只有很小的开销

于 2013-07-10T05:29:52.763 回答
3

看来Android是在YV12中传输的，但是H264标头中设置的格式是YUV420。这些格式是相同的，只是 U 和 V 通道的顺序不同，这解释了红色和蓝色的交换。

最好的当然是修复 Android 端的设置。但是如果没有办法为相机和编码器设置兼容的设置，你将不得不在 GStreamer 端强制格式。

这可以通过capssetter在ffdec_h264

... ! ffdec_h264 ! capssetter caps="video/x-raw-yuv, format=(fourcc)YV12" ! colorspace ! ...

于 2012-12-05T16:54:49.017 回答
0

在相机上设置 ImageFormat.NV21 并为编码器设置 COLOR_FormatYUV420Planar 后，在我的情况下可以看到类似的蓝色阴影重叠。据我了解，在我的情况下不能使用上述交换功能，对可用于此的算法有什么建议吗？ps：当相机预览格式设置为YV12时，解码器完全黑屏

于 2012-12-17T12:34:51.313 回答
0

我使用这里的代码使用媒体编码器将相机图像转换为视频，这导致了同样的问题。

所以参考这篇维基百科文章我修改了这样的代码，输出似乎工作正常。而不是 uvuv 字节顺序，将字节顺序更改为 uuuuuvvvv ..

于 2021-04-01T09:58:56.547 回答