4

我的问题 :

我正在研究我的计算机视觉项目。我使用 opencv(4.1.2) 和 python 来实现它。

我需要一种更快的方法将阅读帧传递到我的计算机上的图像处理中(Ubuntu 18.04 8 核 i7 3.00GHz 内存 32GB)。读取cv2.VideoCapture.read()帧(帧大小:720x1280)大约需要 120~140ms。这太慢了。我的处理模块每次运行大约需要 40 毫秒。我们希望 25~30 FPS。

到目前为止,这是我的演示代码:

import cv2
from collections import deque
from time import sleep, time
import threading


class camCapture:
    def __init__(self, camID, buffer_size):
        self.Frame = deque(maxlen=buffer_size)
        self.status = False
        self.isstop = False
        self.capture = cv2.VideoCapture(camID)


    def start(self):
        print('camera started!')
        t1 = threading.Thread(target=self.queryframe, daemon=True, args=())
        t1.start()

    def stop(self):
        self.isstop = True
        print('camera stopped!')

    def getframe(self):
        print('current buffers : ', len(self.Frame))
        return self.Frame.popleft()

    def queryframe(self):
        while (not self.isstop):
            start = time()
            self.status, tmp = self.capture.read()
            print('read frame processed : ', (time() - start) *1000, 'ms')
            self.Frame.append(tmp)

        self.capture.release()

cam = camCapture(camID=0, buffer_size=50)
W, H = 1280, 720
cam.capture.set(cv2.CAP_PROP_FRAME_WIDTH, W)
cam.capture.set(cv2.CAP_PROP_FRAME_HEIGHT, H)


# start the reading frame thread
cam.start()

# filling frames
sleep(5)

while True:
  frame = cam.getframe() # numpy array shape (720, 1280, 3)

  cv2.imshow('video',frame)
  sleep( 40 / 1000) # mimic the processing time

  if cv2.waitKey(1) == 27:
        cv2.destroyAllWindows()
        cam.stop()
        break

我尝试了什么:

  1. 多线程 - 一个线程只是读取帧,另一个做图像处理的事情。 这不是我想要的。因为我可以设置一个缓冲区双端队列,例如保存 50 帧。但是帧读取线程以〜帧/ 130ms的速度工作。我的图像处理线程以 ~ 帧/40 毫秒的速度工作。然后双端队列就用完了。所以我已经尝试过解决方案。但不是我需要的。

  2. 这个话题是我发现的最接近我的问题的讨论。但不幸的是,我尝试了公认的解决方案(讨论下方的两个)。

解决方案之一(6 六个竖起大拇指)指出他可以在他的 mac 上以 1 秒的间隔读取和保存 100 帧。为什么我的机器不能处理读帧工作?我错过了什么吗?我的安装使用了 conda 和 pip conda install -c conda-forge opencvpip install opencv-python(是的,我都试过了。)

另一个使用 ffmpeg 解决方案的解决方案(竖起大拇指)。但它似乎适用于视频文件而不是相机设备?

  1. 调整 c2.waitKey() :该参数只控制视频显示时的频率。不是解决方案。

然后,我知道我只需要一些关键字即可。

上面的代码是我到目前为止的演示代码,我想要一些方法或指南让我的 videoCapture.read() 更快。可能是一种在 videoCapture 对象或其他相机读取模块中使用多线程的方法。

有什么建议么?

4

4 回答 4

1

这有点晚了,但我想知道我在 Ubuntu 20.04 和 OpenCV 上的 Logitech C920 HD Pro USB 相机。我试图命令捕获会话以 30 FPS 的速度运行全高清,但 FPS 在 4-5 FPS 之间波动。

我的相机的捕捉格式默认为“YUYV 4:2:2”。无论我如何尝试更改视频捕获设置,OpenCV 都不会神奇地更改视频格式以匹配例如所需的 FPS 设置。

当我列出我的罗技 C920 的视频格式时,它显示:

ubuntu:~$ v4l2-ctl --list-formats-ext

ioctl: VIDIOC_ENUM_FMT
    Type: Video Capture

    [0]: 'YUYV' (YUYV 4:2:2)
<clip>
        Size: Discrete 1600x896
            Interval: Discrete 0.133s (7.500 fps)
            Interval: Discrete 0.200s (5.000 fps)
        Size: Discrete 1920x1080
            Interval: Discrete 0.200s (5.000 fps)
        Size: Discrete 2304x1296
            Interval: Discrete 0.500s (2.000 fps)
    [1]: 'MJPG' (Motion-JPEG, compressed)
<clip>
        Size: Discrete 1920x1080
            Interval: Discrete 0.033s (30.000 fps)
            Interval: Discrete 0.042s (24.000 fps)
            Interval: Discrete 0.050s (20.000 fps)
            Interval: Discrete 0.067s (15.000 fps)
            Interval: Discrete 0.100s (10.000 fps)
            Interval: Discrete 0.133s (7.500 fps)
            Interval: Discrete 0.200s (5.000 fps)

解决方案是手动命令 OpenCV 捕获设备使用压缩的“MJPG”格式:

import numpy as np
import cv2

capture = cv2.VideoCapture(0)
W, H = 1920, 1080
capture.set(cv2.CAP_PROP_FRAME_WIDTH, W)
capture.set(cv2.CAP_PROP_FRAME_HEIGHT, H)
capture.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc('M', 'J', 'P', 'G'))
capture.set(cv2.CAP_PROP_FPS, 30)
于 2020-11-07T21:18:47.373 回答
0

长。

我使用以下设置进行了检查,如果增加帧大小,opencv 会以某种方式降低总 fps。也许这是一个错误。

1920x1080:FPS:5.0,宽度:1920.0,高度:1080.0,延迟 = 150ms

https://imgur.com/Vab61cF

1280x720:FPS:10.0,宽度:1280.0,高度:720.0,延迟 = 60 毫秒

https://imgur.com/QN6tsAO

640x480:FPS:30.0,宽度:640.0,高度:480.0,延迟 = 5ms

https://imgur.com/RqkWSdK

但是通过使用其他应用程序(例如cheese),我们仍然可以在 1920x1080 分辨率下获得完整的 30fps。请注意,设置 CAP_PROP_BUFFERSIZE 值也无济于事。

所以会出现一个问题:“我们如何才能克服这个问题?”。在这个阶段,你只有两个选择:

  1. 将帧分辨率降低到 640x480
  2. 使用其他框架

希望这有帮助。

于 2020-01-15T02:40:35.067 回答
0

这是有史以来最好的解决方案

capture = cv2.VideoCapture(0) to capture = cv2.VideoCapture(0, cv2.CAP_DSHOW)

我搜索了很多时间,但没有找到最好的解决方案,但这个解决方案可以更快地打开 cv2 视频捕获尝试现在希望对您有用。只需使用 cv2.VideoCapture(0, cv2.CAP_DSHOW)

于 2021-05-13T18:27:04.707 回答
0

就我而言,我设置了这样的相机(在 C++ 代码中):

// cam is cv::VideoCapture object
cam.set(cv::CAP_PROP_BUFFERSIZE, 1);
cam.set(cv::CAP_PROP_FPS, 20); // set fps before set fourcc
cam.set(cv::CAP_PROP_FOURCC, cv::VideoWriter::fourcc('M', 'J', 'P', 'G'));

CAP_PROP_BUFFERSIZE没关系,但CAP_PROP_FPS必须在之前设置CAP_PROP_FOURCC
通过这种设置,我的相机 fps 从 5 增加到 20。

于 2021-11-23T00:29:14.840 回答