3

我正在开发使用 OpenCV 的 android 应用程序。

我有 mp4 视频文件，我需要从中读取 300 帧 1920x1080 并对其进行一些图像处理操作。

经过大量搜索后，我发现最后只有这个例子。

我的问题是我需要做一件简单的事情，我只想读取帧并将它们保存在设备内存中，或者只是将它们转换为 OpenCV 矩阵。

这是我的尝试（最后解释）：

public void run() {

        extractor = new MediaExtractor();
        extractor.setDataSource(SAMPLE);

        for (int i = 0; i < extractor.getTrackCount(); i++) {
            MediaFormat format = extractor.getTrackFormat(i);
            String mime = format.getString(MediaFormat.KEY_MIME);
            if (mime.startsWith("video/")) {
                extractor.selectTrack(i);
                decoder = MediaCodec.createDecoderByType(mime);
                decoder.configure(format, surface, null, 0);

                break;
            }
        }

        if (decoder == null) {
            Log.e("DecodeActivity", "Can't find video info!");
            return;
        }

        decoder.start();

        ByteBuffer[] inputBuffers = decoder.getInputBuffers();
        ByteBuffer[] outputBuffers = decoder.getOutputBuffers();

        BufferInfo info = new BufferInfo();

        boolean isEOS = false;
        long startMs = System.currentTimeMillis();

        while (!Thread.interrupted()) {
            if (!isEOS) {
                int inIndex = decoder.dequeueInputBuffer(10000);
                if (inIndex >= 0) {
                    ByteBuffer buffer = inputBuffers[inIndex];
                    int sampleSize = extractor.readSampleData(buffer, 0);
                    if (sampleSize < 0) {
                        Log.d("DecodeActivity", "InputBuffer BUFFER_FLAG_END_OF_STREAM");
                        decoder.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                        isEOS = true;
                    } else {
                        decoder.queueInputBuffer(inIndex, 0, sampleSize, extractor.getSampleTime(), 0);
                        extractor.advance();
                    }

                }
            }
            int outIndex = decoder.dequeueOutputBuffer(info, 10000);
            switch (outIndex) {
            case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
                Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED");
                outputBuffers = decoder.getOutputBuffers();
                break;
            case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                Log.d("DecodeActivity", "New format " + decoder.getOutputFormat());
                break;
            case MediaCodec.INFO_TRY_AGAIN_LATER:
                Log.d("DecodeActivity", "dequeueOutputBuffer timed out!");
                break;
            default:
                ByteBuffer buffer = outputBuffers[outIndex];

                Log.v("DecodeActivity", "We can't use this buffer but render it due to the API limit, " + buffer);
                byte[] b = new byte[buffer.remaining()];

                // We use a very simple clock to keep the video FPS, or the video
                // playback will be too fast
                while (info.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
                    try {
                        sleep(10);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                        break;
                    }
                }
                decoder.releaseOutputBuffer(outIndex, true);
                break;
            }

            // All decoded frames have been rendered, we can stop playing now
            if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                Log.d("DecodeActivity", "OutputBuffer BUFFER_FLAG_END_OF_STREAM");
                break;
            }
        }

        decoder.stop();
        decoder.release();
        extractor.release();

    }

在此示例中，我读取了帧并将它们显示为 Surface。

为了将其保存为位图/矩阵或将其保存在设备中，我需要更改什么？

谢谢

4

1 回答 1

1

我看到您的代码有 2 条路径：

  1. 对于 Android 4.3 及更高版本，您可以按照 fadden 的建议使用Grafika中的示例。MediaCodec 解码器应该使用表面作为配置方法，并使用布尔渲染设置为“true”的 releaseOutputBuffer 以便渲染发生在表面上。然后，您可以在渲染到将由 MediaCodec 编码器将其编码回视频的表面时使用着色器执行操作。这个解决方案在大多数设备上都很快，但有一些例外，但它是新的，并且错误仍然出现在设备硬件中。
  2. 如果您可以接受较慢的解决方案，OpenCV在 Android 上有一个很好的端口/集成，包含代码示例和所有内容，甚至使用 ffmpeg 编码回 h264。对于解码，您仍然可以使用 MediaCodec（如果您将结果渲染到表面，则需要使用较慢的 glReadPixels 将数据返回到 cpu）。这也适用于以前版本的 Android。

无论哪种方式，你都需要时间、耐心和精力，因为它不会没有一些挣扎。

于 2014-12-11T16:17:18.440 回答