2

我正在构建一个屏幕共享应用程序并尝试从套接字接收原始 H264 视频流，并通过使用 MediaCodec 类进行解码来使用surfaceview 显示它。但是我成功地能够接收数据并在表面上显示。但是我被困两天的问题是视频非常滞后，抖动并且有绿色条带和补丁。您可以在 youtube视频链接中看到该问题。如果我将此视频保存到 sdcard 并使用 MxPlayer 播放，那么它可以正常播放。我也尝试使用 Gstreamer，一切都很好。这是我在创建surfaceview 时从Activity 调用的类。

//New Edited Code
public class Server {
static final int socketServerPORT = 53515;
MainActivity activity;
ServerSocket serverSocket;

public Server(MainActivity activity, Surface surface) {
    Log.e("constructor()", "called");
    this.activity = activity;
    Thread socketServerThread = new Thread(new SocketServerThread(surface));
    socketServerThread.start();
}

private static MediaCodecInfo selectCodec(String mimeType) {
    int numCodecs = MediaCodecList.getCodecCount();
    for (int i = 0; i < numCodecs; i++) {
        MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);

        if (codecInfo.isEncoder()) {
            continue;
        }

        String[] types = codecInfo.getSupportedTypes();
        for (int j = 0; j < types.length; j++) {
            if (types[j].equalsIgnoreCase(mimeType)) {
                Log.e("codecinfo", codecInfo.getName());
                return codecInfo;
            }
        }
    }
    return null;
}

private class SocketServerThread extends Thread {
    InputStream is;
    Socket socket;
    private MediaCodec codec;
    private Surface surface;

    public SocketServerThread(Surface surface) {
        this.surface = surface;
    }

    @Override
    public void run() {
        Log.e("socketthread", "called");
        try {
            selectCodec("video/avc");
            codec = MediaCodec.createByCodecName(selectCodec("video/avc").getName());

            MediaFormat format = MediaFormat.createVideoFormat("video/avc", 800, 480);
            //  format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
            format.setInteger(MediaFormat.KEY_BIT_RATE, 1024000);
            format.setInteger(MediaFormat.KEY_FRAME_RATE, 25);
            codec.configure(format, surface, null, 0);
            codec.start();
            serverSocket = new ServerSocket(socketServerPORT);
            while (true) {
                socket = serverSocket.accept();
                Log.e("connection", "accepted");
                is = socket.getInputStream();
                if (is != null) {
                    //          File file = new File(Environment.getExternalStorageDirectory() + "/stream.mp4");
                    //              OutputStream output = new FileOutputStream(file);
                    byte[] buff = new byte[4 * 1024]; // or other buffer size
                    int read;
                    while ((read = is.read(buff)) != -1) {
                        //              output.write(buff, 0, read);
                        if (buff.length == 1)
                            continue;

                        int inIndex = codec.dequeueInputBuffer(10000);
                        if (inIndex >= 0) {
                            ByteBuffer inputBuffer = codec.getInputBuffer(inIndex);
                            inputBuffer.clear();
                            inputBuffer.put(buff);

                            codec.queueInputBuffer(inIndex, 0, buff.length, 16, 0);
                        }

                        MediaCodec.BufferInfo buffInfo = new MediaCodec.BufferInfo();
                        int outIndex = codec.dequeueOutputBuffer(buffInfo, 10000);

                        switch (outIndex) {
                            case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                                break;
                            case MediaCodec.INFO_TRY_AGAIN_LATER:
                                break;
                            case -3:
                                break;
                            default:
                                codec.releaseOutputBuffer(outIndex, true);
                        }
                    }
                }
            }

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (codec != null) {
                codec.release();
            }
            if (socket != null) {
                try {
                    socket.close();
                    is.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
  }
}

我尝试了您提到的创建 MediaCodec 的方式

MediaCodec.createByCodecName(selectCodec("video/avc").getName());

   private static MediaCodecInfo selectCodec(String mimeType) {
    int numCodecs = MediaCodecList.getCodecCount();
    for (int i = 0; i < numCodecs; i++) {
        MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);

        if (!codecInfo.isEncoder()) {
            continue;
        }

        String[] types = codecInfo.getSupportedTypes();
        for (int j = 0; j < types.length; j++) {
            if (types[j].equalsIgnoreCase(mimeType)) {
                Log.e("codecinfo",codecInfo.getName());
                return codecInfo;
            }
        }
    }
    return null;
}

但它给了我错误

I/OMXClient: MuxOMX ctor
I/MediaCodec: [OMX.qcom.video.encoder.avc] setting surface generation   to 28345345
W/ACodec: [OMX.qcom.video.encoder.avc] Failed to set standard   component role 'video_decoder.avc'.
E/ACodec: [OMX.qcom.video.encoder.avc] configureCodec returning error -1010
E/ACodec: signalError(omxError 0x80001001, internalError -1010)
E/MediaCodec: Codec reported err 0xfffffc0e, actionCode 0, while in state 3
E/MediaCodec: configure failed with err 0xfffffc0e, resetting...
I/OMXClient: MuxOMX ctor
E/AndroidRuntime: FATAL EXCEPTION: Thread-5
Process: com.androidsrc.server, PID: 27681
android.media.MediaCodec$CodecException: Error 0xfffffc0e
at android.media.MediaCodec.configure(MediaCodec.java:1884)
at com.androidsrc.server.Server$SocketServerThread.run(Server.java:70)
at java.lang.Thread.run(Thread.java:761)

我也尝试通过这种方法更早地创建 Mediacodec

codec =  MediaCodec.createDecoderByType("video/avc");

但视频质量与 youtube 上共享的视频相同。

4

3 回答 3

1

我宁愿对此发表评论，但仍然缺少必要的要点：D

我认为您（或者我不知道它在其他情况下可以正常工作）缺少一些重要的部分。您提供的视频显示缺少有关如何解释事物的信息的迹象。

  • 您是否发送和使用 SPS 和 PPS？我不确定您创建的 MediaFormat 是否包含所有需要的信息。

  • MediaCodec 需要将整个帧提供给它。您确定使用这种逻辑会收到完整的帧吗？

  • 一些解码器期望帧没有 NAL 标头。您是否发送没有 NAL 标头的帧？

  • 我没有看到您转移任何演示时间

我建议你看看如何传输媒体的 RTP/RTSP 协议。为了进一步帮助您，我建议您也提供生产者逻辑

于 2017-07-14T11:35:51.223 回答
0

OMX.google.h264.decoder是一种功能有限的软件编解码器（至少在某些设备和 api 级别上）。

尝试使用createDecoderByType而不是createDecoderByName或选择另一个编解码器，如此处的示例所示： https ://developer.android.com/reference/android/media/MediaCodecInfo.html （修改它以选择除 之外的解码器OMX.google.h264.decoder）

于 2017-07-12T20:50:38.943 回答
0

尝试减少 dequeue (codec.dequeueInputBuffer(10000);) 的超时，除非您认为解码确实需要很多时间。

还设置以下标志：

mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, CodecCapabilities.COLOR_FormatSurface); mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

您提到您将代码更改为按类型选择，但原始帖子在创建解码器时出现错误。你能修复这些错误吗？

您确实需要使用硬件解码器来确保您可以在没有显着性能成本的情况下播放。新视频肯定比第一次尝试更糟糕，这意味着您有解码器选择问题。您可以使用带有 -f h264 选项的 ffplay 并确认格式正确。

最后，查看视频尺寸，您可以从解码器读取回缓冲区（通过在 releaseOutputBuffer 中传递 false）并将其写入磁盘以确认您的尺寸正确。原始视频到最终视频将具有不同的尺寸。从 codecFormat 读取宽度、高度以确认它能够正确解码。

于 2017-07-19T02:04:26.973 回答