python - 如何使用 Python 和 Gstreamer 创建视频缩略图

Question

我想使用 Gstreamer 和 Python 为 MPEG-4 AVC 视频创建缩略图。本质上：

1. 打开视频文件
2. 搜索到某个时间点（例如 5 秒）
3. 当时抢框
4. 将帧作为 .jpg 文件保存到光盘

我一直在看这个其他类似的问题，但我不太清楚如何在没有用户输入的情况下自动进行搜索和帧捕获。

总而言之，如何按照上述步骤使用 Gstreamer 和 Python 捕获视频缩略图？

Answer 1

为了详细说明ensonic的答案，这里有一个例子：

import os
import sys

import gst

def get_frame(path, offset=5, caps=gst.Caps('image/png')):
    pipeline = gst.parse_launch('playbin2')
    pipeline.props.uri = 'file://' + os.path.abspath(path)
    pipeline.props.audio_sink = gst.element_factory_make('fakesink')
    pipeline.props.video_sink = gst.element_factory_make('fakesink')
    pipeline.set_state(gst.STATE_PAUSED)
    # Wait for state change to finish.
    pipeline.get_state()
    assert pipeline.seek_simple(
        gst.FORMAT_TIME, gst.SEEK_FLAG_FLUSH, offset * gst.SECOND)
    # Wait for seek to finish.
    pipeline.get_state()
    buffer = pipeline.emit('convert-frame', caps)
    pipeline.set_state(gst.STATE_NULL)
    return buffer

def main():
    buf = get_frame(sys.argv[1])

    with file('frame.png', 'w') as fh:
        fh.write(str(buf))

if __name__ == '__main__':
    main()

这会生成一个 PNG 图像。gst.Caps("video/x-raw-rgb,bpp=24,depth=24")您可以使用或类似的方法获取原始图像数据。

请注意，在 GStreamer 1.0（相对于 0.10）中，playbin2已重命名为playbin，convert-frame信号名为convert-sample.

GStreamer 应用程序开发手册的这一章解释了搜索的机制。0.10 的playbin2文档似乎不再在线，但 1.0 的文档在这里。

Answer 2

Vala 中的一个示例，带有 GStreamer 1.0 ：

var playbin = Gst.ElementFactory.make ("playbin", null);
playbin.set ("uri", "file:///path/to/file");
// some code here.
var caps = Gst.Caps.from_string("image/png");
Gst.Sample sample;
Signal.emit_by_name(playbin, "convert-sample", caps, out sample);
if(sample == null)
    return;
var sample_caps = sample.get_caps ();
if(sample_caps == null)
    return;
unowned Gst.Structure structure = sample_caps.get_structure(0);
int width = (int)structure.get_value ("width");
int height = (int)structure.get_value ("height");
var memory = sample.get_buffer().get_memory (0);
Gst.MapInfo info;
memory.map (out info, Gst.MapFlags.READ);
uint8[] data = info.data;

Answer 3

这是一个老问题，但我仍然没有在任何地方找到它的记录。
我发现以下内容适用于使用 Gstreamer 1.0 播放的视频

import gi
import time
gi.require_version('Gst', '1.0')
from gi.repository import Gst

def get_frame():
    caps = Gst.Caps('image/png')
    pipeline = Gst.ElementFactory.make("playbin", "playbin")
    pipeline.set_property('uri','file:///home/rolf/GWPE.mp4')
    pipeline.set_state(Gst.State.PLAYING)
    #Allow time for it to start
    time.sleep(0.5)
    # jump 30 seconds
    seek_time = 30 * Gst.SECOND
    pipeline.seek(1.0, Gst.Format.TIME,(Gst.SeekFlags.FLUSH | Gst.SeekFlags.ACCURATE),Gst.SeekType.SET, seek_time , Gst.SeekType.NONE, -1)

    #Allow video to run to prove it's working, then take snapshot
    time.sleep(1)
    buffer = pipeline.emit('convert-sample', caps)
    buff = buffer.get_buffer()
    result, map = buff.map(Gst.MapFlags.READ)
    if result:
        data = map.data
        pipeline.set_state(Gst.State.NULL)
        return data
    else:
        return

if __name__ == '__main__':
    Gst.init(None)
    image = get_frame()
    with open('frame.png', 'wb') as snapshot:
        snapshot.write(image)

代码应该在 Python2 和 Python3 上运行，我希望它对某人有所帮助。

Answer 4

使用 playbin2。将 uri 设置为媒体文件，使用 gst_element_seek_simple 寻找所需的时间位置，然后使用 g_signal_emit 调用“convert-frame”动作信号。