0

对于一个项目，我必须UWP-APP通过 TCP 与 Raspberry Pi Zero 进行通信。因为树莓派和带有接口的计算机都有私有 IP，所以我必须使用服务器将消息从一个客户端转发到另一个客户端。这部分已经有效，但现在我的问题是我必须实现从 Raspberry 到 UWP-APP 的视频流。

因为我的搭档负责创建和设计 UWP-APP，所以我给自己做了一个小测试接口WindowsForms。我已经尝试了几种技术，例如Netcat通过服务器将视频输出到客户端或使用 直接 TCP 流传输raspivid，但迄今为止最好的解决方案是我在这个项目中找到的。但是Eneter.Messaging-library我没有使用我自己的类来与 TcpClients 通信。

我使用 mono 在 Raspberry 上运行我的 C# 脚本，流式传输视频的代码如下所示：

while (true)
            {
                //Wait with streaming until the Interface is connected
                while (!RemoteDeviceConnected || VideoStreamPaused)
                {
                    Thread.Sleep(500);
                }
                //Check if Raspivid-Process is already running
                if(!Array.Exists(Process.GetProcesses(), p => p.ProcessName.Contains("raspivid")))
                    raspivid.Start();
                Thread.Sleep(2000);
                VideoData = new byte[VideoDataLength];
                try
                {
                    while (await raspivid.StandardOutput.BaseStream.ReadAsync(VideoData, 0, VideoDataLength) != -1 && !VideoChannelToken.IsCancellationRequested && RemoteDeviceConnected && !VideoStreamPaused)
                    {
                        // Send captured data to connected clients.
                        VideoConnection.SendByteArray(VideoData, VideoDataLength);
                    }
                    raspivid.Kill();
                    Console.WriteLine("Raspivid killed");
                }
                catch(ObjectDisposedException)
                {

                } 
            }

基本上，这种方法只是从进程的 Standard-Output-Stream 中分块读取 h264 数据，raspivid并将其发送到服务器。

下一个方法在服务器上运行，只是将字节数组转发到连接的接口客户端。

while (RCVVideo[id].Connected)
            {
                await RCVVideo[id].stream.ReadAsync(VideoData, 0, VideoDataLength);
                if (IFVideo[id] != null && IFVideo[id].Connected == true)
                {
                    IFVideo[id].SendByteArray(VideoData, VideoDataLength);
                }
            }

SendByteArray() 使用 NetworkStream.Write() 方法。

在接口上，我将接收到的 byte[] 写入命名管道，VLC-Control 连接到该管道：

while (VideoConnection.Connected)
            {
                await VideoConnection.stream.ReadAsync(VideoData, 0, VideoDataLength);
                if(VideoPipe.IsConnected)
                {
                    VideoPipe.Write(VideoData, 0, VideoDataLength);
                }
                
            }

以下代码初始化管道服务器：

// Open pipe that will be read by VLC.
        VideoPipe = new NamedPipeServerStream(@"\raspipipe",
                                                PipeDirection.Out, 1,
                                                PipeTransmissionMode.Byte,
                                                PipeOptions.WriteThrough, 0, 10000);

对于 VLC：

LibVLC libVLC = new LibVLC();

        videoView1.MediaPlayer = new MediaPlayer(libVLC);

        videoView1.MediaPlayer.Play(new Media(libVLC, @"stream/h264://\\\.\pipe\raspipipe", FromType.FromLocation));
        videoView1.MediaPlayer.EnableHardwareDecoding = true;
        videoView1.MediaPlayer.FileCaching = 0;
        videoView1.MediaPlayer.NetworkCaching = 300;

这在 Windowsforms-App 上运行良好，我可以将延迟降低到 2 或 3 秒（最终应该会更好，但可以接受）。但是在 UWP-App 上，即使将 /LOCAL/ 添加到管道名称后，我也无法使其工作。它显示 VLC-Control 连接到管道，我可以看到数据已写入管道但不显示视频。

所以我的问题是：

如何让它与 UWP 中的 VLC-Control (LibVLCSharp) 一起使用？我错过了一些基本的东西吗？

或者在这种情况下是否有更好的方式来传输视频？

我对 UWP-MediaPlayerElement 进行了一些研究，但我找不到将我的 byte[] 放入其中的方法。

4

1 回答 1

0

首先，感谢您的快速回复和有趣的想法！

我查看了桌面桥，但它并不是我真正想要的，因为我的同事已经付出了很多努力来设计 UWP-APP，而我的 Windows-Form 只是一个拙劣的尝试。

但真正对我有用的是StreamMediaInput。我不知道我以前是怎么错过的。这样我就NetworkStream直接将我的传递给了，MediaPlayer而不使用命名管道。

LibVLC libVLC = new LibVLC();

videoView1.MediaPlayer = new MediaPlayer(libVLC);
Media streamMedia = new Media(libVLC, new StreamMediaInput(Client.Channels.VideoConnection.stream), ":demux=h264");
        
videoView1.MediaPlayer.EnableHardwareDecoding = true;
videoView1.MediaPlayer.FileCaching = 0;
videoView1.MediaPlayer.NetworkCaching = 500; 

videoView1.MediaPlayer.Play(streamMedia);

这个解决方案现在在 UWP 和 Windows-Forms 中都适用于我。

于 2021-02-04T11:54:57.647 回答