查看Xuggler 这个示例代码,以下应该可以将视频编码为 H.264 并将其复用到 MPEG2TS 容器中:
IMediaWriter writer = ToolFactory.makeWriter("output.ts");
writer.addVideoStream(0, 0, ICodec.ID.CODEC_ID_H264, width, height);
for (...)
{
BufferedImage mjpeg = ...;
writer.encodeVideo(0, mjpeg);
}
容器类型是从文件扩展名中猜测出来的,编解码器是明确指定的。
要复用音频和视频,您可以执行以下操作:
writer.addVideoStream(videoStreamIndex, 0, videoCodec, width, height);
writer.addAudioStream(audioStreamIndex, 0, audioCodec, channelCount, sampleRate);
while (... have more data ...)
{
BufferedImage videoFrame = ...;
long videoFrameTime = ...; // this is the time to display this frame
writer.encodeVideo(videoStreamIndex, videoFrame, videoFrameTime, DEFAULT_TIME_UNIT);
short[] audioSamples = ...; // the size of this array should be number of samples * channelCount
long audioSamplesTime = ...; // this is the time to play back this bit of audio
writer.encodeAudio(audioStreamIndex, audioSamples, audioSamplesTime, DEFAULT_TIME_UNIT);
}
在这种情况下,我相信您的代码负责交错音频和视频:您希望在每次通过循环时调用 encodeAudio()或encodeVideo(),具体取决于可用的数据(一大块音频样本或视频帧) ) 具有较早的时间戳。
您可能最终会使用另一个基于IStreamCoder的较低级别的 API ,它可以更好地控制各种参数。我认为您不需要使用它。
要回答您提出的具体问题:
(1) “将 BufferedImage (M/JPEG) 编码为 h.264 流” - 你已经明白了,writer.addVideoStream(..., ICodec.ID.CODEC_ID_H264)
确保你得到 H.264编解码器。要获取传输流 (MPEG2 TS)容器,只需makeWriter()
使用扩展名为 .ts 的文件名进行调用。
(2)“弄清楚原始音频馈送的“BufferedImage-equivalent”是什么” - 这是一个短 [] 或IAudioSamples对象(两者似乎都有效,但 IAudioSamples 必须从一个 IBuffer 构造,这很多不那么直截了当)。
(3)“将此音频类编码成AAC音频流”——调用writer.addAudioStream(..., ICodec.ID.CODEC_ID_AAC, channelCount, sampleRate)
(4) “将两个流多路复用到同一个 MPEG-TS 容器中” -makeWriter()
使用 .ts 文件名调用,它设置容器类型。为了正确的音频/视频同步,您可能需要以正确的顺序调用 encodeVideo()/encodeAudio()。
PS 总是先通过最早可用的音频/视频。例如,如果您有 440 个样本长的音频块(在 44000 Hz 采样率下,440 / 44000 = 0.01 秒),而视频正好是 25fps(1 / 25 = 0.04 秒),您可以将它们提供给作者这个命令:
video0 @ 0.00 sec
audio0 @ 0.00 sec
audio1 @ 0.01 sec
audio2 @ 0.02 sec
audio3 @ 0.03 sec
video1 @ 0.04 sec
audio4 @ 0.04 sec
audio5 @ 0.05 sec
...等等
只要连续的音频/视频时间戳相对接近,大多数播放设备可能都可以使用流,但这是您为完美多路复用器所做的。
PS 您可能需要参考一些文档:Xuggler 类图、ToolFactory、IMediaWriter、ICodec。