3

我正在使用 C 语言在 Linux 环境中开发 webrtc 模拟器。在这里，我需要将媒体从一个 webrtc 模拟器发送到另一个 webrtc 模拟器。我需要使用 VP8 和 Opus 编解码器。现在我开始使用 VP8 编解码器。由于我是 VP8 的新手，请帮助我了解更多。

  1. 由于它是模拟器，我不想实时捕获/播放媒体。我需要从文件中读取音频/视频数据并将其发送到远程。在远程获取提取的媒体数据，将其保存到文件中。

  2. 哪种文件格式包含编码的 VP8 数据？是 webm 文件格式还是别的什么？

  3. 假设 webm 文件包含 VP8 和 OPUS 编解码器数据（我不确定），我该如何逐帧解析。例如，如果我阅读从 AMR-NB 文件中提取音频帧，我可以从文件中解析 amr 帧。同样，是否有任何帮助页面，我在其中学习 VP 框架的解析逻辑。

  4. 或者是否有任何开源使用我可以从 webm 文件中解析 VP8/OPUS 帧。

4

1 回答 1

3

Q2：我先从第2题开始，VP8对应WebM格式。

Q3：如果要逐帧解析，需要了解VP8和OPUS的结构。我不知道模拟在您的场景中意味着什么，但在 WebRTC 环境中，媒体数据是通过 RTP 传输的。如果您在没有RTP的情况下进行模拟，请从第2步开始，否则从第1步开始。

  1. 从 RTP 数据包中解包 RTP 有效负载。RTP 有效负载包含 VP8 数据包信息，如序列号、时间戳等。
  2. 请注意，VP8 帧可能由多个 VP8 数据包组成，因此基本上您需要提取帧内容并将其连接在一起。有多种方法可以确定帧是否由多个数据包组成，并非所有数据包都完全标准化，但现在我建议您使用序列号，因为一帧的数据包共享相同的 SEQ。
  3. 将帧写入文件。如果要创建有效的 WebM 文件，请使用 LibAV（我个人使用）中的 av_write_frame() 等函数。

我可以向您推荐一段实际上将原始 RTP VP8 数据包转换为 VP8 帧的代码：https ://github.com/meetecho/janus-gateway/blob/master/postprocessing/pp-webm.c 。数据包头读取用于函数（预处理和处理）。

Q4：我将 LibAV 用于此类目的（或者 FFMPEG）。

我很乐意回答任何其他问题。

于 2015-06-16T14:31:12.510 回答