pcm - YUV/PCM Visualizer 测量唇形同步

Question

我有两个来自编码器的原始视频和原始音频转储文件，我希望能够测量“唇形同步”。想象一下锤子敲击铁砧的视频。我想逐帧查看，当锤子最终击中铁砧时，音轨上的振幅会出现尖峰。

由于一切发生的速度，我不能只听音频，我需要在时域中查看波形。

是否有任何工具可以让我同时看到视频和音频？

Answer 1

如果您关心验证解码器，那么通常从验证的角度来看，目标是根据公共实时时钟检查音频和视频 PTS 值。

原始 YUV 和 PCM 文件不包括时间戳。如果您知道帧速率和采样率，则可以使用原始 yuv 文件查看器（我自己编写）来计算视频中给定帧的时间（从文件开始），以及 Audacity 之类的工具找出从文件开始到音频文件中音调开始的时间。这仍然可能无法告诉您全部情况，因为工具通常会在 ts/ps 文件中的音频和视频之间嵌入延迟。或者，您可以连接上 OScope 并继续上学。