8

我目前正在尝试将 Android 用作 Skype 端点。在这个阶段，我需要将视频编码为 H.264（因为它是 Skype 唯一支持的格式）并用 RTP 封装以使流媒体工作。

显然，MediaRecorder由于各种原因，它不是很适合这个。一是因为它在完成后添加了 MP4 或 3GP 标头。另一个是因为为了将延迟减少到最低限度，硬件加速可能会派上用场。这就是为什么我想利用最近对框架的低级添加，being MediaCodec，MediaExtractor等等。

目前，我计划如下工作。相机将其视频写入缓冲区。MediaCodec 使用 H264 对视频进行编码并将结果写入另一个缓冲区。此缓冲区由 RTP 封装器读取，它将流数据发送到服务器。这是我的第一个问题：这个计划对你来说可行吗？

现在我已经坚持第一步了。由于互联网上有关使用相机的所有文档都使用了MediaRecorder，因此我找不到在编码之前将其原始数据存储到缓冲区中的方法。addCallbackBuffer适合这个吗？任何人都有一个例子的链接？

接下来，我找不到很多关于 MediaCodec 的文档（因为它相当新）。谁有扎实的教程？

最后：对 RTP 库有什么建议吗？

提前非常感谢！

4

3 回答 3

10

更新
我终于能够从 h264 帧创建正确的 RTP 包。以下是您必须牢记的（实际上很简单）：

编码器确实为每个帧创建 NAL 标头。但它将每一帧作为 h264字节流返回。这意味着每一帧都以三个 0 字节和一个 1 字节开始。您所要做的就是删除这些起始前缀，并将帧放入 RTP 数据包（或使用 FU-As 将它们拆分）。

现在回答你的问题：

我找不到在编码之前将其原始数据存储到缓冲区中的方法。addCallbackBuffer 适合这个吗？

您应该使用 camera.setPreviewCallback(...)，并将每一帧添加到编码器。

我找不到很多关于 MediaCodec 的文档（因为它相当新）。谁有扎实的教程？

这应该是对 MediaCodec 工作原理的一个很好的介绍。http://dpsm.wordpress.com/2012/07/28/android-mediacodec-decoded/

最后：对 RTP 库有什么建议吗？

我正在使用 jlibrtp 来完成工作。

于 2013-07-26T10:23:41.600 回答
7

我对 MediaCodec 或 MediaExtractor 一无所知，但我对 MediaRecorder 相当熟悉，并且已经成功实现了一个基于 SpyDroid 的 RTSP 服务器，它从 MediaRecorder 捕获 H264/AMRNB 输出。基本思想是代码创建一个本地套接字对并使用 MediaRecorder 的 setOutputFile 将输出写入该对中的一个套接字。然后，程序从另一个套接字读取视频或音频流，将其解析为数据包，然后将每个数据包包装成一个或多个通过 UDP 发送的 RTP 数据包。

确实，MediaRecorder 在完成后会添加 MOOV 标头，但如果您以 RTP 格式提供 H264 视频，这不是问题。基本上，视频流的开头有一个“mdat”标头。它有 4 个字节作为标头长度，然后是 4 个字节“mdat”。读取长度以找出标头有多长，验证它是 mdat 标头，然后跳过其余的标头数据。从那里开始，你会得到一个 NAL 单元流，它以 4 个字节作为单元长度。小的 NAL 单元可以在单个 RTP 数据包中发送，而较大的单元被分解为 FU 数据包。对于 RTSP，您还需要提供描述流的 SDP 标头。SpyDroid 通过将非常短的电影写入文件来计算 SDP 标头中的信息，然后读取此文件以从末尾提取 MOOV 标头。我的应用程序总是使用相同的大小、格式和比特率，所以我只提供一个静态字符串：

public static final String SDP_STRING =
        "m=video 5006 RTP/AVP 96\n"
                + "b=RR:0\n"
                + "a=rtpmap:96 H264/90000\n"
                + "a=fmtp:96 packetization-mode=1;profile-level-id=428028;sprop-parameter-sets=Z0KAKJWgKA9E,aM48gA==;\n"
                + "a=control:trackID=0\n"
                + "m=audio 5004 RTP/AVP 96\n"
                + "b=AS:128\n"
                + "b=RR:0\n"
                + "a=rtpmap:96 AMR/8000\n"
                + "a=fmtp:96 octet-align=1;\n"
                + "a=control:trackID=1\n";

这是我的 640x480x10fps、H264 视频的标头，带有 8000/16/1 AMRNB 音频。

我可以警告您一件事：如果您使用的是 MediaRecorder，您的预览回调将永远不会被调用。这仅适用于相机模式，不适用于录制视频。在录制视频时，我找不到任何方法可以访问未压缩格式的预览图像。

我强烈建议查看 SpyDroid 的代码。这需要一些挖掘，但我敢打赌你想要的东西已经在那里了。

于 2012-12-18T22:13:36.473 回答
0

你的计划是绝对可行的。您可以注册一个 Camera.PreviewCallback，它获取图片数据并将其放入 MediaCodec。您读取输出并将其作为 RTP 发送。一般来说，这很容易，但是在不同的设备上存在未记录的色彩空间和不同的 MediaCodec 行为等各种缺陷，但这绝对是可能的。

于 2013-02-12T10:08:45.677 回答