0

我通过网络 (UDP) 收到一个 MPEG TS 容器。它包含两个流：一个具有 yuv420p 像素格式的 mpeg2video 视频流和一个使用专有 KLV 格式编码的数据流。

我的接收器程序必须使用 Python。所以，我不能直接使用 FFMPEG 库（如AVFormat, AVCodec）。

现在我的问题如下：

我需要接收视频帧并将它们保存为 RGB 图像作为原始numpy数组。我还需要为每一帧解析相应的 KLV 数据。视频帧和 KLV 数据单元之间存在一对一的关系。

我想我ffprobe用来输出数据包，包括来自传入容器的有效负载数据，然后解析输出ffprobe以获取图像和元数据：

$ ffprobe -show_packets -show_data -print_format json udp://127.0.0.1:12345 > test_video.packets.data.json

这给了我一个输出（在test_video.packets.data.json文件中），如：

{
    "codec_type": "video",
    "stream_index": 0,
    "pts": 140400,
    "pts_time": "1.560000",
    "dts": 136800,
    "dts_time": "1.520000",
    "duration": 3600,
    "duration_time": "0.040000",
    "size": "21301",
    "pos": "3788012",
    "flags": "K_",
    "side_data_list": [
        {
            "side_data_type": "MPEGTS Stream ID"
        }
    ],
    "data": "... "
},
{
    "codec_type": "data",
    "stream_index": 1,
    "pts": 140400,
    "pts_time": "1.560000",
    "dts": 140400,
    "dts_time": "1.560000",
    "size": "850",
    "pos": "3817904",
    "flags": "K_",
    "side_data_list": [
        {
            "side_data_type": "MPEGTS Stream ID"
        }
    ],
    "data": ".... "
}

我可以从数据包中提取 KLV 数据并解析它。然而，视频数据包中的数据以 yuv420p 像素格式编码为 mpeg2video 视频。

我的问题：

  1. 如何从该 mpeg2 编码的有效负载中获取原始像素值？
  2. 是否可以使用 ffmpeg 接收原始容器并将其（使用两个流）复制到新容器中，但使用原始视频而不是 mpeg2 视频？如果是，如何？命令应该是什么？我试过例如：ffmpeg -i udp://127.0.0.1:12345 -map 0:0 -codec rawvideo -pix_fmt rgb24 -map 0:1 -codec copy -f mpegts udp://127.0.0.1:11112，但它再次给了我视频数据包有效载荷中的 mpeg2 编码视频数据
4

1 回答 1

3

MPEG-TS 支持有限数量的视频编解码器。但是，ffmpeg 的 muxer 会默默地将不支持的流混合为私有数据流。

要复用原始 RGB 流，请rgb24使用 rawvideo 编解码器转换为像素格式和代码。

ffmpeg -i udp://127.0.0.1:12345 -map 0:0 -map 0:1 -c copy -c:v rawvideo -pix_fmt rgb24 -f mpegts udp://127.0.0.1:11112

于 2020-11-27T09:13:37.687 回答