-1

我需要在场景中播放带有 Alpha 通道的 .mov 视频 (ProRes4444)。场景有一个背景图像，我需要使用视频的 alpha 通道，以便它覆盖在背景上。

如果我用 QMediaPlayer 正常打开视频，alpha 通道显示为黑色。

带有背景图片的屏幕和带有黑色 alpha 的视频：

带有背景图片的屏幕和带有黑色 alpha 的视频

如何使 QMediaPlayer (QGraphicsVideoItem) 的输出尊重 alpha 并使叠加效果成为可能？

根据在线研究，我最接近答案的是 cpp 中的代码，我发现它显示了创建接收视频帧转换为 ARGB 的 QAbstractVideoSurface 的子类的必要性，然后将它们转发到显示它们的 QLabel。

使用 qt 显示带有 alpha 通道的视频

我也试过了，没有成功。这是正确的课程还是我只是在当前代码中遗漏了一些简单的东西？

编辑：链接到文件（背景图片和视频.mov） https://drive.google.com/drive/folders/1LIZzTg1E8wkaD0YSvkkcfSATdlDTggyh?usp=sharing

import sys
from PyQt5.QtMultimedia import *
from PyQt5.QtMultimediaWidgets import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *


class VideoWindow(QMainWindow):
     def __init__(self):
        super(VideoWindow, self).__init__()
        self.setWindowTitle('QMediaPlayer TEST')
        self.resize(1920, 1080)

        self.vista = QGraphicsView(self)
        self.vista.setGeometry(QRect(0, 0, 1920, 1080))

        self.scene = QGraphicsScene(self.vista)
        self.scene.setSceneRect(0, 0, 1920, 1080)
        self.vista.setScene(self.scene)

        self.graphvitem1 = QGraphicsVideoItem()

#SET BACKGROUND IMAGE ON SCENE
        self.tempImg = QPixmap("/Users/elemental/Desktop/pyvids/fons.jpeg")
        self.tempImg = self.tempImg.scaled(self.scene.width(), self.scene.height())
        self.graphicsPixmapItem = QGraphicsPixmapItem(self.tempImg)
        self.scene.addItem(self.graphicsPixmapItem)

#SET VIDEO 1 WITH LOOP
        self.mediaPlayer1 = QMediaPlayer(None, QMediaPlayer.VideoSurface)
        self.mediaPlayer1.setVideoOutput(self.graphvitem1)

        self.playlist1 = QMediaPlaylist(self)
        self.playlist1.addMedia(QMediaContent(QUrl.fromLocalFile("/Users/elemental/Desktop/pyvids/vida1.mov")))
        self.playlist1.setCurrentIndex(1)
        self.playlist1.setPlaybackMode(QMediaPlaylist.CurrentItemInLoop)
        self.mediaPlayer1.setPlaylist(self.playlist1)

        self.graphvitem1.setPos(500, 100)
        self.graphvitem1.setSize(QSizeF(1000, 500))
        self.scene.addItem(self.graphvitem1)

        self.mediaPlayer1.play()
        self.vista.show()


if __name__ == '__main__':
     app = QApplication([])
     window = VideoWindow()
     window.show()
     sys.exit(app.exec_())
4

1 回答 1

0

据我所知，QVideoWidget 默认不支持 alpha 通道，因此它回退到“基本”黑色背景。

但是，通过适当地继承 QAbstractVideoSurface，实现似乎是可能的。

考虑到以下代码是实验性的，我对 QMediaPlayer 和 Qt 视频表面的了解并不那么深（前者是对多个平台和多个库的抽象，它们在不同配置下的行为可能会有很大差异），我只能对其进行测试在两个 Linux 平台上，所以我不知道它在 Windows 和 MacOS 下的表现如何。

假设视频表面提供了一个默认的专用 QWidget 子类 (VideoWidget)，除非提供了另一个具有合适的类，并在媒体播放器需要它时setImage更新它。image

请注意，我只用几个视频（包括提供的视频）对其进行了测试，可能需要进一步测试。

from PyQt5.QtMultimedia import *
from PyQt5.QtMultimediaWidgets import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *

class VideoWidget(QWidget):
    image = QImage()
    def __init__(self, **kwargs):
        super().__init__(**kwargs)

    def setImage(self, image):
        self.image = image
        self.update()

    def sizeHint(self):
        return QSize(640, 480)

    def paintEvent(self, event):
        qp = QPainter(self)
        # ensure that smooth transformation is used while scaling pixmaps
        qp.setRenderHints(qp.SmoothPixmapTransform)

        # provide compliancy with background set using stylesheets, see:
        # https://doc.qt.io/qt-5/stylesheet-reference.html#qwidget-widget
        opt = QStyleOption()
        opt.initFrom(self)
        self.style().drawPrimitive(QStyle.PE_Widget, opt, qp, self)

        # draw the image, scaled to the widget size; if you need fixed sizes
        # or keep aspect ratio, implement this (or the widget) accordingly
        qp.drawImage(self.rect(), self.image, self.image.rect())


class AlphaVideoDrawer(QAbstractVideoSurface):
    def __init__(self, videoWidget=None, widgetOptions=None):
        super().__init__()
        if videoWidget:
            if not hasattr(videoWidget, 'setImage'):
                raise NotImplementedError(
                    'setImage() must be implemented for videoWidget!')
        else:
            if not isinstance(widgetOptions, dict):
                widgetOptions = {}
            elif not 'styleSheet' in widgetOptions:
                # just a default background for testing purposes
                widgetOptions = {'styleSheet': 'background: darkGray;'}
            videoWidget = VideoWidget(**widgetOptions)
        self.videoWidget = videoWidget

        # QVideoFrame.image() has been introduced since Qt 5.15
        version, majVersion, minVersion = map(int, QT_VERSION_STR.split('.'))
        if version < 6 and majVersion < 15:
            self.imageFromFrame = self._imageFromFrameFix
        else:
            self.imageFromFrame = lambda frame: frame.image()

    def _imageFromFrameFix(self, frame):
        clone_frame = QVideoFrame(frame)
        clone_frame.map(QAbstractVideoBuffer.ReadOnly)
        image = QImage(
            clone_frame.bits(), frame.width(), frame.height(), frame.bytesPerLine(), 
            QVideoFrame.imageFormatFromPixelFormat(frame.pixelFormat()))
        clone_frame.unmap()
        return image

    def supportedPixelFormats(self, type):
        return [QVideoFrame.Format_ARGB32]

    def present(self, frame: QVideoFrame):
        if frame.isValid():
            self.videoWidget.setImage(self.imageFromFrame(frame))

        if self.surfaceFormat().pixelFormat() != frame.pixelFormat() or \
            self.surfaceFormat().frameSize() != frame.size():
                self.setError(QAbstractVideoSurface.IncorrectFormatError)
                self.stop()
                return False
        else:
            return True


class AlphaVideoTest(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setStyleSheet('''
            QFrame#mainFrame {
                background: green;
            }
        ''')

        mainFrame = QFrame(objectName='mainFrame')
        self.setCentralWidget(mainFrame)

        layout = QVBoxLayout(mainFrame)
        self.playButton = QPushButton('Play', checkable=True)
        layout.addWidget(self.playButton)

        self.drawer = AlphaVideoDrawer()
        layout.addWidget(self.drawer.videoWidget)

        self.mediaPlayer1 = QMediaPlayer(self, QMediaPlayer.VideoSurface)
        self.playlist = QMediaPlaylist(self)
        path = QDir.current().absoluteFilePath('vida1.mov')
        self.playlist.addMedia(QMediaContent(QUrl.fromLocalFile(path)))
        self.playlist.setCurrentIndex(1)
        self.playlist.setPlaybackMode(QMediaPlaylist.CurrentItemInLoop)

        self.mediaPlayer1.setPlaylist(self.playlist)
        self.mediaPlayer1.setVideoOutput(self.drawer)

        self.playButton.toggled.connect(self.togglePlay)

    def togglePlay(self, play):
        if play:
            self.mediaPlayer1.play()
            self.playButton.setText('Pause')
        else:
            self.mediaPlayer1.pause()
            self.playButton.setText('Play')

import sys
app = QApplication(sys.argv)
test = AlphaVideoTest()
test.show()
sys.exit(app.exec_())

我将上面的代码基于以下来源：

请注意，我限制了supportedPixelFormats输出，因为使用相关问题中提供的完整格式列表不起作用；这并不意味着这无论如何都会起作用，但可能需要进一步测试，可能在不同的机器和不同的操作系统/系统配置和视频格式上：请记住，QMediaPlayer 完全依赖于底层操作系统和默认媒体后端。

最后，如果您只需要“有限”和预定义的动画，请考虑实现您自己的 QWidget 子类，它使用加载的 PNG 图像列表并通过实现paintEvent()将由基于QVariantAnimation的更新调用来显示它们。虽然这种实现可能会导致性能下降或不太理想，但它的主要好处是提供跨平台兼容性。

于 2021-07-20T01:09:33.100 回答