cocoa - 在不使用 QuickTime API 的情况下，将视频帧录制到电影中的 10.6 兼容方法是什么？

Question

我正在更新一个应用程序以兼容 64 位，但我的电影录制代码有点困难。我们有一个 FireWire 相机，它将 YUV 帧输入我们的应用程序，我们在 MPEG4 电影中对其进行处理和编码到磁盘。目前，我们正在使用基于 C 的 QuickTime API 来执行此操作（使用 Image Compression Manager 等），但旧的 QuickTime API 不支持 64 位。

我的第一次尝试是使用 QTKit 的 QTMovie 并使用对单个帧进行编码-addImage:forDuration:withAttributes:，但这需要为每个帧创建一个 NSImage （这在计算上是昂贵的）并且它不进行时间压缩，因此它不会生成最紧凑的文件。

我想使用 QTKit Capture 的 QTCaptureMovieFileOutput 之类的东西，但我不知道如何将原始帧输入到与 QTCaptureInput 无关的帧中。我们不能直接将我们的相机与 QTKit Capture 一起使用，因为我们需要手动控制它的增益、曝光等。

在 Lion 上，我们现在在 AVFoundation 中拥有 AVAssetWriter 类，它可以让您执行此操作，但我仍然必须暂时以 Snow Leopard 为目标，因此我正在尝试找到一个同样适用的解决方案。

因此，有没有一种方法可以比 QTMovie 更有效地对视频进行非 QuickTime 逐帧录制，-addImage:forDuration:withAttributes:并产生与旧版 QuickTime API 相当的文件大小？

score 10 · Accepted Answer

最后，我还是决定按照天硕推荐的方式，在这里使用libavcodec进行视频压缩。根据 Martin here的说明，我下载了 FFmpeg 源代码并使用构建了必要库的 64 位兼容版本

./configure --disable-gpl --arch=x86_64 --cpu=core2 --enable-shared --disable-amd3dnow --enable-memalign-hack --cc=llvm-gcc
make
sudo make install

这将为 Mac 中的 64 位 Core2 处理器创建 LGPL 共享库。 ~~不幸的是，我还没有找到一种方法来使库在启用 MMX 优化时不会崩溃，因此现在已禁用。这会稍微减慢编码速度。~~经过一些实验，我发现我可以使用上述配置选项构建一个启用了 MMX 优化并且在 Mac 上稳定的 64 位版本的库。编码时这比禁用 MMX 构建的库要快得多。

请注意，如果您使用这些共享库，则应确保严格遵守FFmpeg 网站上的LGPL 合规性说明。

为了让这些共享库在我的 Mac 应用程序包中的适当文件夹中正常运行，我需要使用install_name_tool来调整这些库中的内部搜索路径，以指向它们在应用程序包中 Frameworks 目录中的新位置：

install_name_tool -id @executable_path/../Frameworks/libavutil.51.9.1.dylib libavutil.51.9.1.dylib

install_name_tool -id @executable_path/../Frameworks/libavcodec.53.7.0.dylib libavcodec.53.7.0.dylib
install_name_tool -change /usr/local/lib/libavutil.dylib @executable_path/../Frameworks/libavutil.51.9.1.dylib libavcodec.53.7.0.dylib

install_name_tool -id @executable_path/../Frameworks/libavformat.53.4.0.dylib libavformat.53.4.0.dylib
install_name_tool -change /usr/local/lib/libavutil.dylib @executable_path/../Frameworks/libavutil.51.9.1.dylib libavformat.53.4.0.dylib
install_name_tool -change /usr/local/lib/libavcodec.dylib @executable_path/../Frameworks/libavcodec.53.7.0.dylib libavformat.53.4.0.dylib

install_name_tool -id @executable_path/../Frameworks/libswscale.2.0.0.dylib libswscale.2.0.0.dylib
install_name_tool -change /usr/local/lib/libavutil.dylib @executable_path/../Frameworks/libavutil.51.9.1.dylib libswscale.2.0.0.dylib

您的具体路径可能会有所不同。这种调整使它们可以在应用程序包中工作，而不必将它们安装在用户系统上的 /usr/local/lib 中。

然后我将我的 Xcode 项目链接到这些库，并创建了一个单独的类来处理视频编码。此类通过videoFrameToEncode属性接收原始视频帧（BGRA 格式），并将它们在movieFileName文件中编码为 MP4 容器中的 MPEG4 视频。代码如下：

SPVideoRecorder.h

#import <Foundation/Foundation.h>

#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"

uint64_t getNanoseconds(void);

@interface SPVideoRecorder : NSObject
{
    NSString *movieFileName;
    CGFloat framesPerSecond;
    AVCodecContext *codecContext;
    AVStream *videoStream;
    AVOutputFormat *outputFormat;
    AVFormatContext *outputFormatContext;
    AVFrame *videoFrame;
    AVPicture inputRGBAFrame;

    uint8_t *pictureBuffer;
    uint8_t *outputBuffer;
    unsigned int outputBufferSize;
    int frameColorCounter;

    unsigned char *videoFrameToEncode;

    dispatch_queue_t videoRecordingQueue;
    dispatch_semaphore_t frameEncodingSemaphore;
    uint64_t movieStartTime;
}

@property(readwrite, assign) CGFloat framesPerSecond;
@property(readwrite, assign) unsigned char *videoFrameToEncode;
@property(readwrite, copy) NSString *movieFileName;

// Movie recording control
- (void)startRecordingMovie;
- (void)encodeNewFrameToMovie;
- (void)stopRecordingMovie;


@end

SPVideoRecorder.m

#import "SPVideoRecorder.h"
#include <sys/time.h>

@implementation SPVideoRecorder

uint64_t getNanoseconds(void)
{
    struct timeval now;
    gettimeofday(&now, NULL);
    return now.tv_sec * NSEC_PER_SEC + now.tv_usec * NSEC_PER_USEC;
}

#pragma mark -
#pragma mark Initialization and teardown

- (id)init;
{
    if (!(self = [super init]))
    {
        return nil;     
    }

    /* must be called before using avcodec lib */
    avcodec_init();

    /* register all the codecs */
    avcodec_register_all();
    av_register_all();

    av_log_set_level( AV_LOG_ERROR );

    videoRecordingQueue = dispatch_queue_create("com.sonoplot.videoRecordingQueue", NULL);;
    frameEncodingSemaphore = dispatch_semaphore_create(1);

    return self;
}

#pragma mark -
#pragma mark Movie recording control

- (void)startRecordingMovie;
{   
    dispatch_async(videoRecordingQueue, ^{
        NSLog(@"Start recording to file: %@", movieFileName);

        const char *filename = [movieFileName UTF8String];

        // Use an MP4 container, in the standard QuickTime format so it's readable on the Mac
        outputFormat = av_guess_format("mov", NULL, NULL);
        if (!outputFormat) {
            NSLog(@"Could not set output format");
        }

        outputFormatContext = avformat_alloc_context();
        if (!outputFormatContext)
        {
            NSLog(@"avformat_alloc_context Error!");
        }

        outputFormatContext->oformat = outputFormat;
        snprintf(outputFormatContext->filename, sizeof(outputFormatContext->filename), "%s", filename);

        // Add a video stream to the MP4 file 
        videoStream = av_new_stream(outputFormatContext,0);
        if (!videoStream)
        {
            NSLog(@"av_new_stream Error!");
        }


        // Use the MPEG4 encoder (other DiVX-style encoders aren't compatible with this container, and x264 is GPL-licensed)
        AVCodec *codec = avcodec_find_encoder(CODEC_ID_MPEG4);  
        if (!codec) {
            fprintf(stderr, "codec not found\n");
            exit(1);
        }

        codecContext = videoStream->codec;

        codecContext->codec_id = codec->id;
        codecContext->codec_type = AVMEDIA_TYPE_VIDEO;
        codecContext->bit_rate = 4800000;
        codecContext->width = 640;
        codecContext->height = 480;
        codecContext->pix_fmt = PIX_FMT_YUV420P;
//      codecContext->time_base = (AVRational){1,(int)round(framesPerSecond)};
//      videoStream->time_base = (AVRational){1,(int)round(framesPerSecond)};
        codecContext->time_base = (AVRational){1,200}; // Set it to 200 FPS so that we give a little wiggle room when recording at 50 FPS
        videoStream->time_base = (AVRational){1,200};
//      codecContext->max_b_frames = 3;
//      codecContext->b_frame_strategy = 1;
        codecContext->qmin = 1;
        codecContext->qmax = 10;    
//      codecContext->mb_decision = 2; // -mbd 2
//      codecContext->me_cmp = 2; // -cmp 2
//      codecContext->me_sub_cmp = 2; // -subcmp 2
        codecContext->keyint_min = (int)round(framesPerSecond); 
//      codecContext->flags |= CODEC_FLAG_4MV; // 4mv
//      codecContext->flags |= CODEC_FLAG_LOOP_FILTER;
        codecContext->i_quant_factor = 0.71;
        codecContext->qcompress = 0.6;
//      codecContext->max_qdiff = 4;
        codecContext->flags2 |= CODEC_FLAG2_FASTPSKIP;

        if(outputFormat->flags & AVFMT_GLOBALHEADER)
        {
            codecContext->flags |= CODEC_FLAG_GLOBAL_HEADER;
        }

        // Open the codec
        if (avcodec_open(codecContext, codec) < 0) 
        {
            NSLog(@"Couldn't initialize the codec");
            return;
        }

        // Open the file for recording
        if (avio_open(&outputFormatContext->pb, outputFormatContext->filename, AVIO_FLAG_WRITE) < 0) 
        { 
            NSLog(@"Couldn't open file");
            return;
        } 

        // Start by writing the video header
        if (avformat_write_header(outputFormatContext, NULL) < 0) 
        { 
            NSLog(@"Couldn't write video header");
            return;
        } 

        // Set up the video frame and output buffers
        outputBufferSize = 400000;
        outputBuffer = malloc(outputBufferSize);
        int size = codecContext->width * codecContext->height;

        int pictureBytes = avpicture_get_size(PIX_FMT_YUV420P, codecContext->width, codecContext->height);
        pictureBuffer = (uint8_t *)av_malloc(pictureBytes);

        videoFrame = avcodec_alloc_frame();
        videoFrame->data[0] = pictureBuffer;
        videoFrame->data[1] = videoFrame->data[0] + size;
        videoFrame->data[2] = videoFrame->data[1] + size / 4;
        videoFrame->linesize[0] = codecContext->width;
        videoFrame->linesize[1] = codecContext->width / 2;
        videoFrame->linesize[2] = codecContext->width / 2;

        avpicture_alloc(&inputRGBAFrame, PIX_FMT_BGRA, codecContext->width, codecContext->height);

        frameColorCounter = 0;

        movieStartTime = getNanoseconds();
    });
}

- (void)encodeNewFrameToMovie;
{
//  NSLog(@"Encode frame");

    if (dispatch_semaphore_wait(frameEncodingSemaphore, DISPATCH_TIME_NOW) != 0)
    {
        return;
    }

    dispatch_async(videoRecordingQueue, ^{
//      CFTimeInterval previousTimestamp = CFAbsoluteTimeGetCurrent();
        frameColorCounter++;

        if (codecContext == NULL)
        {       
            return;
        }

        // Take the input BGRA texture data and convert it to a YUV 4:2:0 planar frame
        avpicture_fill(&inputRGBAFrame, videoFrameToEncode, PIX_FMT_BGRA, codecContext->width, codecContext->height);
        struct SwsContext * img_convert_ctx = sws_getContext(codecContext->width, codecContext->height, PIX_FMT_BGRA, codecContext->width, codecContext->height, PIX_FMT_YUV420P, SWS_FAST_BILINEAR, NULL, NULL, NULL); 
        sws_scale(img_convert_ctx, (const uint8_t* const *)inputRGBAFrame.data, inputRGBAFrame.linesize, 0, codecContext->height, videoFrame->data, videoFrame->linesize);

        // Encode the frame
        int out_size = avcodec_encode_video(codecContext, outputBuffer, outputBufferSize, videoFrame);  

        // Generate a packet and insert in the video stream
        if (out_size != 0) 
        {
            AVPacket videoPacket;
            av_init_packet(&videoPacket);

            if (codecContext->coded_frame->pts != AV_NOPTS_VALUE) 
            {
                uint64_t currentFrameTime = getNanoseconds();

                videoPacket.pts = av_rescale_q(((uint64_t)currentFrameTime - (uint64_t)movieStartTime) / 1000ull/*codecContext->coded_frame->pts*/, AV_TIME_BASE_Q/*codecContext->time_base*/, videoStream->time_base);

//              NSLog(@"Frame time %lld, converted time: %lld", ((uint64_t)currentFrameTime - (uint64_t)movieStartTime) / 1000ull, videoPacket.pts);
            }

            if(codecContext->coded_frame->key_frame)
            {
                videoPacket.flags |= AV_PKT_FLAG_KEY;
            }
            videoPacket.stream_index = videoStream->index;
            videoPacket.data = outputBuffer;
            videoPacket.size = out_size;

            int ret = av_write_frame(outputFormatContext, &videoPacket);
            if (ret < 0) 
            { 
                av_log(outputFormatContext, AV_LOG_ERROR, "%s","Error while writing frame.\n"); 
                av_free_packet(&videoPacket);
                return;
            } 

            av_free_packet(&videoPacket);
        }

//      CFTimeInterval frameDuration = CFAbsoluteTimeGetCurrent() - previousTimestamp;
//      NSLog(@"Frame duration: %f ms", frameDuration * 1000.0);

        dispatch_semaphore_signal(frameEncodingSemaphore);
    });
}

- (void)stopRecordingMovie;
{
    dispatch_async(videoRecordingQueue, ^{
        // Write out the video trailer
        if (av_write_trailer(outputFormatContext) < 0) 
        { 
            av_log(outputFormatContext, AV_LOG_ERROR, "%s","Error while writing trailer.\n"); 
            exit(1); 
        } 

        // Close out the file
        if (!(outputFormat->flags & AVFMT_NOFILE)) 
        {
            avio_close(outputFormatContext->pb);
        }

        // Free up all movie-related resources
        avcodec_close(codecContext);
        av_free(codecContext);
        codecContext = NULL;

        free(pictureBuffer);
        free(outputBuffer);

        av_free(videoFrame);
        av_free(outputFormatContext);
        av_free(videoStream);       
    });

}

#pragma mark -
#pragma mark Accessors

@synthesize framesPerSecond, videoFrameToEncode, movieFileName;

@end

这适用于 64 位应用程序中的 Lion 和 Snow Leopard。它以与我之前基于 QuickTime 的方法相同的比特率进行录制，总体 CPU 使用率较低。

希望这将帮助处于类似情况的其他人。

score 5 · Accepted Answer

上个月，我在 WWDC 上向 QuickTime 工程师提出了一个非常类似的问题，他们基本上建议使用 32 位辅助进程……我知道这不是你想听到的。;)

score 4 · Accepted Answer

是的，（至少）有一种方法可以对视频进行非 QuickTime 逐帧录制，这种方法效率更高，并且生成的文件可与 Quicktime 相媲美。

开源库libavcodec非常适合您的视频编码案例。它用于非常流行的开源和商业软件和库（例如：mplayer、google chrome、imagemagick、opencv）它还提供了大量的选项来调整和众多的文件格式（所有重要的格式和许多奇异的格式）。它是高效的，可以生成各种比特率的文件。

来自维基百科：

libavcodec 是一个免费软件/开源 LGPL 许可的编解码器库，用于编码和解码视频和音频数据。 [1] 它由 FFmpeg 项目或 Libav 项目提供。 [2] [3] libavcodec 是许多开源多媒体应用程序和框架的组成部分。流行的 MPlayer、xine 和 VLC 媒体播放器使用它作为主要的内置解码引擎，可以在所有支持的平台上播放许多音频和视频格式。它也被 ffdshow 试用解码器用作其主要解码库。libavcodec 还用于视频编辑和转码应用程序，如 Avidemux、MEncoder 或 Kdenlive，用于解码和编码。libavcodec 的特别之处在于它包含解码器，有时还包含几种专有格式的编码器实现，包括尚未发布公共规范的那些。因此，这种逆向工程工作是 libavcodec 开发的重要组成部分。在标准 libavcodec 框架中提供此类编解码器与使用原始编解码器相比具有许多好处，最显着的是提高了可移植性，并且在某些情况下还具有更好的性能，因为 libavcodec 包含一个标准库，其中包含高度优化的通用构建块实现，例如DCT 和色彩空间转换。然而，尽管 libavcodec 力求对官方实现进行位精确的解码，但此类重新实现中的错误和缺失功能有时会在播放某些文件时引入兼容性问题。因此，这种逆向工程工作是 libavcodec 开发的重要组成部分。在标准 libavcodec 框架中提供此类编解码器与使用原始编解码器相比具有许多好处，最显着的是提高了可移植性，并且在某些情况下还具有更好的性能，因为 libavcodec 包含一个标准库，其中包含高度优化的通用构建块实现，例如DCT 和色彩空间转换。然而，尽管 libavcodec 力求对官方实现进行位精确的解码，但此类重新实现中的错误和缺失功能有时会在播放某些文件时引入兼容性问题。因此，这种逆向工程工作是 libavcodec 开发的重要组成部分。在标准 libavcodec 框架中提供此类编解码器与使用原始编解码器相比具有许多好处，最显着的是提高了可移植性，并且在某些情况下还具有更好的性能，因为 libavcodec 包含一个标准库，其中包含高度优化的通用构建块实现，例如DCT 和色彩空间转换。然而，尽管 libavcodec 力求对官方实现进行位精确的解码，但此类重新实现中的错误和缺失功能有时会在播放某些文件时引入兼容性问题。最显着地增加了可移植性，并且在某些情况下还具有更好的性能，因为 libavcodec 包含一个标准库，其中包含高度优化的通用构建块实现，例如 DCT 和色彩空间转换。然而，尽管 libavcodec 力求对官方实现进行位精确的解码，但此类重新实现中的错误和缺失功能有时会在播放某些文件时引入兼容性问题。最显着地增加了可移植性，并且在某些情况下还具有更好的性能，因为 libavcodec 包含一个标准库，其中包含高度优化的通用构建块实现，例如 DCT 和色彩空间转换。然而，尽管 libavcodec 力求对官方实现进行位精确的解码，但此类重新实现中的错误和缺失功能有时会在播放某些文件时引入兼容性问题。

您可以选择将 FFmpeg 直接导入您的 XCode 项目。
另一种解决方案是将您的帧直接通过管道传输到 FFmpeg 可执行文件中。

FFmpeg 项目是一个快速、准确的多媒体转码器，可应用于 OS X 上的各种场景。

FFmpeg（包括libavcodec）可以在mac中编译
http://jungels.net/articles/ffmpeg-howto.html

FFmpeg（包括 libavcodec）也可以在雪豹上编译为 64 位
http://www.martinlos.com/?p=41

FFmpeg 支持大量的视频和音频编解码器：
http ://en.wikipedia.org/wiki/Libavcodec#Implemented_video_codecs

请注意，libavcodec 和 FFmpeg 是 LGPL，这意味着您必须提及您使用过它们，并且您不需要开源您的项目。

cocoa - 在不使用 QuickTime API 的情况下，将视频帧录制到电影中的 10.6 兼容方法是什么？

3 回答 3

Related

Reference