3

我正在尝试使用带有 Raspberry Pi 相机的官方 V4L2 驱动程序从 raspbian（2015-02 版本）上的 C++ 在 Raspberry Pi 上流式传输视频，但我遇到了低 FPS 问题。

目前我只是创建一个窗口并将缓冲区复制到屏幕（大约需要 30 毫秒），而select()大约需要 140 毫秒（总共 5-6 fps）。我还尝试睡了 100 毫秒，它减少select()了相似的时间（导致相同的 fps）。CPU 负载约为 5-15%。

我还尝试从控制台（或system()）更改驱动程序 fps，但它只能向下工作（例如，如果我将驱动程序 fps 设置为 1fps，我将获得 1fps，但如果我将其设置为 90fps，我仍然会获得 5-6fps，甚至尽管驱动程序确认将其设置为 90fps）。此外，在查询使用分辨率的 FPS 模式时，我得到 90fps。

我包括了与 V4L2 相关的代码部分（不同部分之间省略了代码）： 

//////////////////
// Open device
//////////////////
mFD = open(mDevName, O_RDWR | O_NONBLOCK, 0);
if (mFD == -1) ErrnoExit("Open device failed");

//////////////////
// Setup format
//////////////////
struct v4l2_format fmt;
memset(&fmt, 0, sizeof(fmt));
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
Xioctl(VIDIOC_G_FMT, &fmt);
mImgWidth = fmt.fmt.pix.width;
mImgHeight = fmt.fmt.pix.height;
cout << "width=" << mImgWidth << " height=" << mImgHeight << "\nbytesperline=" << fmt.fmt.pix.bytesperline << " sizeimage=" << fmt.fmt.pix.sizeimage << "\n";
// For some reason querying the format always sets pixelformat to JPEG
//  no matter the input, so set it back to YUYV
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
if (Xioctl(VIDIOC_S_FMT, &fmt) == -1)
{
    cout << "Set video format failed : " << strerror(errno) << "\n";
}

//////////////////
// Setup streaming
//////////////////
struct v4l2_requestbuffers req;

memset(&req, 0, sizeof(req));

req.count = 20;
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP;

if (-1 == Xioctl(VIDIOC_REQBUFS, &req))
{
    ErrnoExit("Reqbufs");
}
if (req.count < 2)
    throw "Not enough buffer memory !";
mNBuffers = req.count;
mBuffers = new CBuffer[mNBuffers];
if (!mBuffers) throw "Out of memory !";

for (unsigned int i = 0; i < mNBuffers; i++)
{
    struct v4l2_buffer buf;
    memset(&buf, 0, sizeof(buf));
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;

    buf.index = i;

    if (-1 == Xioctl(VIDIOC_QUERYBUF, &buf))
        ErrnoExit("Querybuf");

    mBuffers[i].mLength = buf.length;
    mBuffers[i].pStart = mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, mFD, buf.m.offset);

    if (mBuffers[i].pStart == MAP_FAILED)
        ErrnoExit("mmap");
}

//////////////////
// Start streaming
//////////////////
unsigned int i;
enum v4l2_buf_type type;
struct v4l2_buffer buf;

for (i = 0; i < mNBuffers; i++)
{
    memset(&buf, 0, sizeof(buf));

    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = i;

    if (-1 == Xioctl(VIDIOC_QBUF, &buf))
        ErrnoExit("QBUF");
}
type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

if (-1==Xioctl(VIDIOC_STREAMON, &type))
    ErrnoExit("STREAMON");

主循环的最后两部分：

//////////////////
// Get frame
//////////////////
FD_ZERO(&fds);
    FD_SET(mFD, &fds);
    tv.tv_sec = 3;
    tv.tv_usec = 0;

    struct timespec t0, t1;

    clock_gettime(CLOCK_REALTIME, &t0);

    // This line takes about 140ms which I don't get
    r = select(mFD + 1, &fds, NULL, NULL, &tv);

    clock_gettime(CLOCK_REALTIME, &t1);

    cout << "select time : " << ((float)(t1.tv_sec - t0.tv_sec))*1000.0f + ((float)(t1.tv_nsec - t0.tv_nsec))/1000000.0f << "\n";

    if (-1 == r)
    {
        if (EINTR == errno)
            continue;
        ErrnoExit("select");
    }

    if (r == 0)
        throw "Select timeout\n";

    // Read the frame
    //~ struct v4l2_buffer buf;
    memset(&mCurBuf, 0, sizeof(mCurBuf));
    mCurBuf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    mCurBuf.memory = V4L2_MEMORY_MMAP;

    // DQBUF about 2ms
    if (-1 == Xioctl(VIDIOC_DQBUF, &mCurBuf))
    {
        if (errno == EAGAIN) continue;
        ErrnoExit("DQBUF");
    }

    clock_gettime(CLOCK_REALTIME, &mCaptureTime);

    // Manage frame in mBuffers[buf.index]
    mCurBufIndex = mCurBuf.index;

    break;
}

//////////////////
// Release frame
//////////////////
if (-1 == Xioctl(VIDIOC_QBUF, &mCurBuf))
    ErrnoExit("VIDIOC_QBUF during mainloop");
4

2 回答 2

1

我一直在研究使用 picamera 的各种方法，但我不是专家，但似乎默认的相机设置是阻碍你前进的原因。有很多模式和开关。我不知道它们是通过 ioctls 暴露还是如何暴露，我才刚刚开始。但是我必须使用一个名为 v4l-ctl 的程序来为我想要的模式做好准备。深入了解该源代码和一些代码提升应该让您实现伟大。哦，我怀疑 select 调用是一个问题，它只是在等待缓慢变得可读的描述符。根据模式等，可能会强制等待自动曝光等。编辑：我的意思是说“默认设置”，因为您已经更改了一些设置。驱动程序中也有一些未编纂的规则。

于 2015-04-23T00:56:22.117 回答
-1

像素格式很重要。我遇到了类似的低 fps 问题，我花了一些时间在 Go 和 C++ 中使用 V4L2 API 测试我的程序。我发现，Rpi Cam Module 对 H.264/MJPG 像素格式有很好的加速。我可以轻松获得 640*480 的 60fps，与 YUYV/RGB 等非压缩格式相同。但是 JPEG 运行速度很慢。即使在 320*240 下我也只能获得 4fps。而且我还发现 JPEG 的电流更高（>700mA），而 H.264/MJPG 的电流为 500mA。

于 2016-10-23T19:01:45.107 回答