6

我正在开发一个应用程序,它具有与其他应用程序共享屏幕的功能。

我为此使用了媒体投影 API。我还使用 MediaMuxer 来组合音频和视频输出以进行屏幕共享。

我知道 Media Projection API 用于屏幕录制,但我只想在录制时共享屏幕。

为此,我修改了 MediaMuxer 类的 writeSampleData 方法,以通过套接字将字节发送到网络上的其他设备。

下面是代码:

OutputStream outStream;

outStream = ScreenRecordingActivity.getInstance().socket.getOutputStream();

void writeSampleData(final int trackIndex, final ByteBuffer byteBuf, final MediaCodec.BufferInfo bufferInfo) {
    if (mStatredCount > 0) {
        mMediaMuxer.writeSampleData(trackIndex, byteBuf, bufferInfo);

        if (bufferInfo.size != 0) {

            byteBuf.position(bufferInfo.offset);
            byteBuf.limit(bufferInfo.offset + bufferInfo.size);

            if (outStream != null) {

                try {

                    byte[] bytes = new byte[byteBuf.remaining()];
                    byteBuf.get(bytes);

                    //Send the data
                    outStream.write(bytes);
                    outStream.flush();

                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

字节通过套接字成功传输,我也能够在接收器端接收这些字节。

下面是在接收端接收字节的代码:

private class SocketThread implements Runnable {
    @Override
    public void run() {

        Socket socket;
        try {
            serverSocket = new ServerSocket(SERVER_PORT);
        } catch (IOException e) {
            e.printStackTrace();
        }

        if (null != serverSocket) {
            while (!Thread.currentThread().isInterrupted()) {
                try {
                    socket = serverSocket.accept();
                    CommunicationThread commThread = new CommunicationThread(socket);
                    new Thread(commThread).start();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }


    class CommunicationThread implements Runnable {

        InputStream in;
        DataInputStream dis;

        public CommunicationThread(Socket clientSocket) {


            updateMessage("Server Started...");
        }

        public void run() {           

            while (!Thread.currentThread().isInterrupted()) {

                try {                       

                    byte[] data = new byte[512];               

                } catch (Exception e) {                    

                    e.printStackTrace();

                    try {
                        fos.close();
                    } catch (Exception e1) {

                        e1.printStackTrace();
                    }
                }
            }
        }
    }
}

我按照以下链接进行屏幕共享:

屏幕截图

屏幕录像机

使用 mediaProjection 进行屏幕录制

我使用上述示例中的一些代码来制作应用程序。

我只想知道如何在接收器处处理字节。如何格式化这些字节以从发送方播放实时流?

我是否遵循发送和接收字节数据的正确方法?

MediaProjection 是否允许在应用程序之间录制时流式传输屏幕?

任何帮助将不胜感激。

4

1 回答 1

3

通常对于流媒体,包括屏幕共享,音频和视频轨道不会被混合。相反,每个视频帧和音频样本都使用诸如 RTP/RTSP 之类的协议发送,其中每个数据块都使用时间戳等其他内容进行包装。

您可以查看spyadroid,它是通过 RTSP 将音频和视频流式传输到浏览器或 VLC 的良好起点。它流式传输相机和麦克风,但您可以根据自己的用例对其进行调整。

如果你想暂时使用套接字,你必须MediaMuxer直接从编码器输出中删除并发送帧/样本,至少附加时间戳以在发送 CSD 后同步接收方的播放 - 假设你以 h.264 格式编码 - 数据(SPS PPS aka csd-0 和 csd-1,您可以在编码器格式更改时获得)到接收器解码器,您可以使用输出表面对其进行配置以呈现您的流。

一些额外的链接:

android-h264-stream-demo

适用于 Android 的 RTMP Java 多路复用器

RTSP

实时传输协议

网络RTC

于 2018-06-07T19:45:09.930 回答