4

我正在从事一个项目，该项目涉及从 iOS8 中的 VTCompressionSession 中获取 H.264 编码帧，将它们与来自麦克风的实时 AAC 或 PCM 音频混合到可播放的 MPEG2-TS 中，并通过套接字以最小的延迟实时流式传输（即：（几乎）没有缓冲）。

在观看了 iOS8 中新 VideoToolbox 的演示文稿并进行了一些研究之后，我想可以肯定地假设：

  • 你从 VTCompressionSession 得到的编码帧不是附件 B 格式，所以我需要以某种方式转换它们（到目前为止我看到的所有解释都太模糊了，所以我不太确定你是如何做到这一点的（即：将“3 或 4 字节标题替换为长度标题”））。

  • 您从 VTCompressionSession 获得的编码帧实际上是一个基本流。因此，首先我需要将它们转换为 Packetized Elementary Stream，然后才能对其进行复用。

  • 我还需要来自麦克风数据的 AAC 或 PCM 基本流（我认为 PCM 会更容易，因为不涉及编码）。我也不知道该怎么做。

  • 为了复用打包的基本流，我还需要一些像 libmpegts 这样的库。或者可能是 ffmpeg（通过使用 libavcodec 和 libavformat 库）。

我对此很陌生。我可以就实现这一目标的正确方法获得一些建议吗？

有没有更简单的方法来使用 Apple API（如 AVFoundation）来实现这一点？

有没有类似的项目可以作为参考？

提前致谢！

4

1 回答 1

1

为了复用打包的基本流，我还需要一些像 libmpegts 这样的库。或者可能是 ffmpeg（通过使用 libavcodec 和 libavformat 库）。

据我所知，没有办法将 TS 与 AVFoundation 或相关框架混合使用。虽然它似乎可以手动完成，但我正在尝试使用Bento4 库来完成与您相同的任务。我猜 libmpegts、ffmpeg、GPAC、libav 或任何其他类似的库也可以工作，但我不喜欢他们的 API。

基本上，我关注的是Mp42Ts.cpp，忽略了 Mp4 部分，只看 Ts 写作部分。

这个StackOverflow 问题包含了如何给它提供视频的所有大纲，以及如何给它提供音频的实现。如果您有任何问题，请用更具体的问题联系我。

不过，我希望这为您提供了一个良好的起点。

我还需要来自麦克风数据的 AAC 或 PCM 基本流（我认为 PCM 会更容易，因为不涉及编码）。我也不知道该怎么做。

以 AAC 形式获取麦克风数据非常简单。像这样的东西：

AVCaptureDevice *microphone = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
_audioInput = [AVCaptureDeviceInput deviceInputWithDevice:microphone error:&error];

if (_audioInput == nil) {
    NSLog(@"Couldn't open microphone %@: %@", microphone, error);
    return NO;
}

_audioProcessingQueue = dispatch_queue_create("audio processing queue", DISPATCH_QUEUE_SERIAL);

_audioOutput = [[AVCaptureAudioDataOutput alloc] init];
[_audioOutput setSampleBufferDelegate:self queue:_audioProcessingQueue];


NSDictionary *audioOutputSettings = @{
    AVFormatIDKey: @(kAudioFormatMPEG4AAC),
    AVNumberOfChannelsKey: @(1),
    AVSampleRateKey: @(44100.),
    AVEncoderBitRateKey: @(64000),
};

_audioWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeAudio outputSettings:audioOutputSettings];
_audioWriterInput.expectsMediaDataInRealTime = YES;
if(![_writer canAddInput:_audioWriterInput]) {
    NSLog(@"Couldn't add audio input to writer");
    return NO;
}
[_writer addInput:_audioWriterInput];

[_captureSession addInput:_audioInput];
[_captureSession addOutput:_audioOutput];

- (void)audioCapture:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    /// sampleBuffer contains encoded aac samples.
}

我猜你已经在为你的相机使用 AVCaptureSession 了；您可以对麦克风使用相同的捕获会话。

于 2015-05-13T00:23:00.267 回答