3

我正在使用 MediaExtractor/MediaCodec 解码视频并将其渲染到 TextureView。作为模板，我使用了以下代码：https ://github.com/vecio/MediaCodecDemo/blob/master/src/io/vec/demo/mediacodec/DecodeActivity.java

我希望能够以 2 倍的速度播放视频。幸运的是，媒体编码/解码速度足够快，因此我可以通过让 MediaCodec 解码每一帧来完成此操作，然后仅将每隔一帧渲染到屏幕上。但是，这感觉不是一个很好的解决方案，特别是如果您想将播放增加任意值。例如，在 10 倍速度下，编解码器无法以足够快的速度解码帧，以 30 fps 的速度每 10 帧播放一次。

因此，我希望通过多次调用 MediaExtractor.advance() 来跳过不需要解码的帧来控制播放。例如：

        ...
        mDecoder.queueInputBuffer(inIndex, 0, sampleSize, mExtractor.getSampleTime(), 0);
        for (i = 0; i < playbackSpeedIncrease; i++) {
               mExtractor.advance();
        }
        ...

使用此代码，理论上提取器应该只提取每第 n帧，其中n由变量“playbackSpeedIncrease”定义。例如，如果n = 5，这应该超过第 1-4 帧，并且只提取第 5 帧。

然而，这在实践中是行不通的。当我运行此代码时，渲染到屏幕上的图像会失真：在此处输入图像描述

有人知道为什么吗？有关以任意速度增加播放视频的更好方法的任何建议？

4

1 回答 1

6

您通常不能对 AVC 视频执行此操作。

编码视频具有包含完整图像的“关键”（或“同步”或“I”）帧，但关键帧之间的帧与之前的帧保持“差异”。您可以在 wikipedia 上找到一些关于视频编码方法的文章，例如这篇。由于您跳过了一个关键帧，您得到了令人讨厌的视频，现在正在针对错误的图像计算差异。

如果你曾经看过视频快进流畅但快退笨拙，例如在 TiVo 上，这就是原因：视频解码器快速向前播放，但反向它只播放 I 帧，将它们在屏幕上保持足够长的时间以获得所需的速率。在“更快”的前进/后退时，它会变平，因为设备只是在播放 I 帧。您可以通过观察SAMPLE_FLAG_SYNC从 MediaExtractor 获得的帧上的标志来做类似的事情。

一般来说，您只能以设备可以解码的速度播放视频，或者只播放关键帧。（如果您对特定编码中特定视频的布局有足够的了解，您可能会做得更好，例如播放 I 和 P 但不播放 B，但我不确定这在 AVC 中是否可行。）

I 帧的频率由视频编码器决定。它往往是每秒一两个，但如果您从不同来源获取视频，那么您可以预期 GOP 大小（图片组，即 I 帧之间有多少帧）会有所不同。

于 2015-05-18T16:21:34.010 回答