我很困惑知道编解码器内部发生了什么。我想了解音频编码器和解码器中的元素。如果你能给我一些链接，我可以找到一些好的学习材料，我会很高兴。
正是我想知道编解码器如何解析媒体文件。
问问题
14002 次
4 回答
27
您的标题询问了 A/V 压缩，但您的其余评论讨论了解析媒体文件和识别其编解码器。这些是非常不同的任务：由不同的组织制定和实施，由大多数多媒体库中的不同 API 执行，最重要的是需要非常不同的技能集。
A/V 文件格式与任何其他文件格式没有太大区别，而其他文件格式只是形式语法。解析、验证和生成的对象图在概念上与任何其他语法没有什么不同——实际上，它们往往比您在标准 CS 课程（编译器、有限自动机）中遇到的语法简单得多。AVI 文件格式在这一点上有点过时，但我仍然建议从那里开始，因为：
- 当今许多更复杂的格式都完全或部分类似于 AVI，或者至少假设您熟悉它的基本结构
- AVI 是称为 RIFF 的更大多媒体格式系列的成员，您会发现它在许多其他地方（例如 WAV）中使用
与此同时，编解码器是您可能在“消费者”软件中找到的一些最复杂的算法。他们大量利用学术界和大公司研发部门（包括其庞大的专利库）的进步。要精通编解码器，您至少需要了解以下基础知识：
- 信息论
- 常见的熵编码算法
- 傅里叶分析（以及尽可能多的其他 DSP）
- 心理声学/心理视觉建模
- 制作/广播生命周期、遗留视频设备和标准以及讨厌的旧物理所施加的实际限制，包括：
- 当今 CPU 架构施加的实际限制，尤其是：
如果您已经有不错的背景（例如，您已经上过一两个本科级别的“工程师数学”类课程），那么我会说直接潜入。许多最好的 A/V 编解码器都是开源的：
于 2010-03-30T05:29:25.743 回答
11
通常，视频压缩涉及尽可能多地丢弃信息，同时对最终用户的观看体验产生最小的影响。例如，使用二次采样 YUV 而不是 RGB 会立即将视频大小减半。这是可能的，因为人眼对颜色的敏感度低于对亮度的敏感度。在 YUV 中，Y 值表示亮度，U 和 V 值表示颜色。因此，您可以丢弃一些减小文件大小的颜色信息，而不会让查看者注意到任何差异。
在那之后，大多数压缩技术特别利用了 2 个冗余。第一个是时间冗余，第二个是空间冗余。
时间冗余注意到视频序列中的连续帧非常相似。通常，视频的速度约为每秒 20-30 帧，并且在 1/30 秒内没有太大变化。拿起任何 DVD 并将其暂停，然后将其移至一帧并注意这 2 个图像的相似程度。因此，MPEG-4（和其他压缩标准）不是独立编码每个帧，而是只编码连续帧之间的差异（使用运动估计来找到帧之间的差异）
空间冗余利用了这样一个事实，即通常在图像中分布的颜色往往是非常低的频率。我的意思是相邻像素往往具有相似的颜色。例如，在您穿着红色套头衫的图像中，代表您的套头衫的所有像素都将具有非常相似的颜色。可以使用 DCT 将像素值转换到频率空间中，在频率空间中可以丢弃一些低频信息。然后，当执行反向 DCT 时（在解码期间），图像现在没有丢弃的低频信息。
要查看丢弃此信息的效果，请打开 MS Paint 并绘制一系列重叠的水平和垂直黑线。将图像另存为 JPEG（也使用 DCT 进行压缩）。现在放大图案，注意线条的边缘不再那么锐利并且有点模糊。这是因为一些信息（从黑色到白色的过渡）在压缩过程中被丢弃了。阅读此内容以获得精美图片的解释
对于进一步阅读，这本书非常好，如果数学有点重。
于 2010-04-01T14:54:37.540 回答
3
通过研究 MPEG4 解码器，我对 MPEG4 格式有了一些了解。对于视频和音频，有许多不同的参考（和开源实现）编码器和解码器。所以，看书吧——从维基百科开始：它有很好的概括性总结和链接（如果你有幸“开放规范”）。然后击中源头。
有很多不同的编码方式（许多涉及某种形式的压缩，无论是有损还是无损），并且由于还必须处理成帧容器和“子格式”，整个问题通常会更加复杂。
玩得开心。
- 狄拉克：http://diracvideo.org/specifications/
- MPEG-4：http://en.wikipedia.org/wiki/MPEG-4
- JPEG：http://jpeg.org/public/jfif.pdf
于 2010-03-30T05:24:44.163 回答
2
尝试从这里开始：
Windows Media 编码器入门
http://www.microsoft.com/windows/windowsmedia/howto/articles/introencoding.aspx
更多数据可在 codecpage.com 上找到
于 2010-03-26T11:22:31.333 回答