1

我想读入一个 SDP 文件并将视频流编码为 h.264，将音频流编码为 aac。然后我想将这些流多路复用到一个 avi 流中，然后再到一个文件中。我不提前知道 SDP 文件的内容，所以使用 playbin2 似乎最简单。

所以，我想我可以做这样的事情：

                             RawToAviMux Bin
                       ______________________________________
                ----- |ghostpad----x264enc
              /       |                   \
playbin2------        |                    avimux--filesink
              \       |                    /
               -------| ghostpad----ffenc_aac
                      |_______________________________________

 setting playbin2's videosink to an instance of RawToAviMux
      and playbin2's audiosink to the same instance of RawToAviMux

但是，我无法让管道进入播放状态。

这是代码：

            recorder = new Gst.BasePlugins.PlayBin2();
            recorder.PlayFlags &= ~((Gst.BasePlugins.PlayBin2.PlayFlagsType)(1 << 2));
            recorder.Bus.AddSignalWatch();
            recorder.Bus.EnableSyncMessageEmission();

            RawToAviMuxer aviMuxer = new RawToAviMuxer(fileName);               

            recorder.VideoSink = aviMuxer;
            recorder.AudioSink = aviMuxer;

            recorder.SetState(Gst.State.Ready);
            recorder.Uri = @"file:///" + filePath.Replace('\\', '/');
            recorder.SetState(Gst.State.Paused);
            recorder.SetState(Gst.State.Playing);

            Gst.State currentState;
            Gst.State playingState = Gst.State.Playing;
            Gst.StateChangeReturn stateReturn = recorder.GetState(out currentState, out playingState, Gst.Clock.Second);

            if (stateReturn != Gst.StateChangeReturn.Failure)
                return true;

            return false;

使用 RawToAviMuxer 作为

public class RawToAviMuxer : Gst.Bin
{
    bool test = false;

    public RawToAviMuxer(string outputFileName)
        : base("rawToAviMux")
    {
        Gst.Element x264Enc = Gst.ElementFactory.Make("x264enc");
        Gst.Element ffenc_aac = Gst.ElementFactory.Make("ffenc_aac");

        x264Enc["bframes"] = (uint)0;
        x264Enc["b-adapt"] = false;
        x264Enc["bitrate"] = (uint)1024;
        x264Enc["tune"] = 0x4;
        x264Enc["speed-preset"] = 3;
        x264Enc["sliced-threads"] = false;
        x264Enc["profile"] = 0;
        x264Enc["key-int-max"] = (uint)30;

        Gst.GhostPad videoToX264Pad = new Gst.GhostPad("video_sink", x264Enc.GetStaticPad("sink"));
        Gst.GhostPad audioToAACPad = new Gst.GhostPad("audio_sink", ffenc_aac.GetStaticPad("sink"));

        test = this.AddPad(videoToX264Pad);
        test = this.AddPad(audioToAACPad);

        Gst.Element aviMux = Gst.ElementFactory.Make("avimux");
        Gst.Element fileSink = Gst.ElementFactory.Make("filesink");

        test = this.Add(new Gst.Element[]{x264Enc, ffenc_aac, aviMux, fileSink});
        test = x264Enc.Link(aviMux);
        test = ffenc_aac.Link(aviMux);
        test = aviMux.Link(fileSink);

        fileSink["location"] = outputFileName;
    }
}

我已经进入调试器，所有链接都成功了。

更新

好的，所以我用 Gst.Parse.Launch 尝试了以下管道：

uridecodebin uri=file:///C:/Users/Jonathan/AppData/Local/Temp/192.168.0.215_5000.sdp !
x264enc byte-stream=true bframes=0 b-adapt=0 tune=0x4 speed-preset=3 sliced-threads=false 
profile=0 ! mux. ffenc_aac ! mux. avimux name=mux ! filesink location=C:\Users\Jonathan\Desktop\test.avi

我仍然无法摆脱它的暂停。

我正在使用windows构建，所以我担心这可能有问题吗？

我也无法将消息处理程序附加到总线上，这样我就可以弄清楚发生了什么，这真的开始变得烦人了。

然而，我确实发现了这个，

如果我直接通过 udpsrc 元素获取流，并提前知道格式是什么，那么它不适用于仅 rtph264depay 元素。管道中必须有一个 h264parse 元素。这可能是 uridecodebin 不适合我的原因？

解决 了我最终做了以下事情：

            if (!gst_is_init)
            {                
                Gst.Application.Init();
                gst_is_init = true;
            }

            if(recorder != null)
            {
                recorder.SetState(Gst.State.Null);
                recorder.Dispose();
            }

            string videoDepay, audioDepay, strExtension, strMuxer;

            GetGstElements(stream.VideoCaps, out videoDepay, out strMuxer, out strExtension);
            GetGstElements(stream.AudioCaps, out audioDepay, out strMuxer, out strExtension);

            fileName = Path.ChangeExtension(fileName, strExtension);

            //recorder = new Gst.Pipeline("recordingPipe");
            string pipeString = String.Format("udpsrc port={0} ! {1} {2} ! {3} ! queue ! mux. udpsrc port={4} ! {1} {5} ! {6} ! mux. {7} name=mux ! filesink location={8}",
                portToUse, "application/x-rtp,", stream.VideoCaps, videoDepay, (portToUse + 2), stream.AudioCaps, audioDepay, strMuxer, fileName.Replace("\\", "\\\\"));

            recorder = (Gst.Pipeline)Gst.Parse.Launch(pipeString);                

            recordingFileName = fileName;

                 recorder.SetState(Gst.State.Ready);                
            recorder.SetState(Gst.State.Paused);                
            recorder.SetState(Gst.State.Playing);

            Gst.State currentState;                

            Gst.StateChangeReturn stateReturn = recorder.GetState(out currentState, Gst.Clock.Second);            

            if (stateReturn != Gst.StateChangeReturn.Failure)
                return true;

            return false;

你必须有一个所有流的解析器，管道才能播放。因此，对于传入的 h264 流，我需要使用 rtph264depay ！h264解析。此外，NALU 和字节流必须匹配才能使时序正确。

此外，为了使文件可用，您必须在处理管道之前向下游发送 EOS。

                recorder.SendEvent(Gst.Event.NewEos());
                System.Threading.Thread.Sleep(100);
                recorder.SetState(Gst.State.Paused);
                recorder.SetState(Gst.State.Ready);
                recorder.SetState(Gst.State.Null);
                recorder.Dispose();
4

1 回答 1

1

是的，这行不通。这是你如何做到的。Playbin2 是一个模块化组件，它由一个 uridecodebin 和一个 playinkbin 组成。您可以只使用和 uridecodebin，设置媒体文件 uri，为 pad-added 添加信号处理程序，并将新创建的 pad 连接到 rawtoavimux 组件的 sink-pad。

rawtoavimux 的一种替代方法是使用 encodebin。使用 uridecodebin ！如果一个或多个流的格式已经是正确的格式，encodebin 可以潜在地进行智能转码，这将避免解码和重新编码。

于 2012-04-09T08:17:41.390 回答