10

我正在尝试使用 C++ 中的 OpenCV 让移动的人跟踪工作，用相机看着街道，人们在街上走动。对于我拍摄并正在使用的示例视频，请参见此处：http ://akos.maroy.hu/~akos/eszesp/MVI_0778.MOV

我阅读了这个主题，并尝试了很多方法，包括：

  • 背景检测和创建轮廓
  • 尝试检测 blob（blob 的关键点）
  • 对带有 HOGDescriptor 的每一帧使用人员检测器

但这些都没有提供好的结果。对于我的示例代码，请参见下文。有关基于上述视频的代码输出，请参见：http ://akos.maroy.hu/~akos/eszesp/ize.avi 。在背景中检测到的轮廓是红色的，轮廓的边界矩形是绿色的，HOG 人检测器的结果是蓝色的。

我遇到的具体问题是：

背景检测然后找到轮廓似乎工作正常，尽管有一些误报。但主要缺点是很多时候一个人被“切割”成多个轮廓。有没有一种简单的方法可以将这些“连接”在一起，可能是通过假定的“理想”人尺寸或其他方式？

至于 HOG 人物检测器，就我而言，它很少能识别图像上的真实人物。我在那里做错了什么？

欢迎大家指点，想法！

因此，到目前为止，我使用的代码是我在这里和那里找到的各种样本的自定义粘贴的荣耀：

#include<opencv2/opencv.hpp>
#include<iostream>
#include<vector>

int main(int argc, char *argv[])
{
    if (argc < 3) {
        std::cerr << "Usage: " << argv[0] << " in.file out.file" << std::endl;
        return -1;
    }

    cv::Mat frame;
    cv::Mat back;
    cv::Mat fore;
    std::cerr << "opening " << argv[1] << std::endl;
    cv::VideoCapture cap(argv[1]);
    cv::BackgroundSubtractorMOG2 bg;
    //bg.nmixtures = 3;
    //bg.bShadowDetection = false;

    cv::VideoWriter output;
    //int ex = static_cast<int>(cap.get(CV_CAP_PROP_FOURCC));
    int ex = CV_FOURCC('P','I','M','1');
    cv::Size size = cv::Size((int) cap.get(CV_CAP_PROP_FRAME_WIDTH),
                             (int) cap.get(CV_CAP_PROP_FRAME_HEIGHT));
    std::cerr << "saving to " << argv[2] << std::endl;
    output.open(argv[2], ex, cap.get(CV_CAP_PROP_FPS), size, true);

    std::vector<std::vector<cv::Point> > contours;

    cv::namedWindow("Frame");
    cv::namedWindow("Fore");
    cv::namedWindow("Background");


    cv::SimpleBlobDetector::Params params;
    params.minThreshold = 40;
    params.maxThreshold = 60;
    params.thresholdStep = 5;
    params.minArea = 100; 
    params.minConvexity = 0.3;
    params.minInertiaRatio = 0.01;
    params.maxArea = 8000;
    params.maxConvexity = 10;
    params.filterByColor = false;
    params.filterByCircularity = false;


    cv::SimpleBlobDetector blobDtor(params);
    blobDtor.create("SimpleBlob");

    std::vector<std::vector<cv::Point> >    blobContours;
    std::vector<cv::KeyPoint>               keyPoints;
    cv::Mat                                 out;

    cv::HOGDescriptor hog;
    hog.setSVMDetector(cv::HOGDescriptor::getDefaultPeopleDetector());


    for(;;)
    {
        cap >> frame;

        bg.operator ()(frame, fore);

        bg.getBackgroundImage(back);
        cv::erode(fore, fore, cv::Mat());
        cv::dilate(fore, fore, cv::Mat());

        blobDtor.detect(fore, keyPoints, cv::Mat());

        //cv::imshow("Fore", fore);

        cv::findContours(fore, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
        cv::drawContours(frame, contours, -1, cv::Scalar(0,0,255), 2);

        std::vector<std::vector<cv::Point> >::const_iterator it = contours.begin();
        std::vector<std::vector<cv::Point> >::const_iterator end = contours.end();
        while (it != end) {
            cv::Rect bounds = cv::boundingRect(*it);
            cv::rectangle(frame, bounds, cv::Scalar(0,255,0), 2);

            ++it;
        }

        cv::drawKeypoints(fore, keyPoints, out, CV_RGB(0,255,0), cv::DrawMatchesFlags::DEFAULT);
        cv::imshow("Fore", out);


        std::vector<cv::Rect> found, found_filtered;
        hog.detectMultiScale(frame, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);
        for (int i = 0; i < found.size(); ++i) {
            cv::Rect r = found[i];
            int j = 0;
            for (; j < found.size(); ++j) {
                if (j != i && (r & found[j]) == r) {
                    break;
                }
            }
            if (j == found.size()) {
                found_filtered.push_back(r);
            }
        }

        for (int i = 0; i < found_filtered.size(); ++i) {
            cv::Rect r = found_filtered[i];
            cv::rectangle(frame, r.tl(), r.br(), cv::Scalar(255,0,0), 3);
        }


        output << frame;

        cv::resize(frame, frame, cv::Size(1280, 720));
        cv::imshow("Frame", frame);

        cv::resize(back, back, cv::Size(1280, 720));
        cv::imshow("Background", back);



        if(cv::waitKey(30) >= 0) break;
    }
    return 0;
}
4

4 回答 4

11

实际上，这是一个非常广泛的话题。有很多科学论文试图解决这个问题。你应该先阅读一些东西。

简而言之：背景检测和轮廓是最简单的技术。OpenCV 有非常好的实现，也针对 gpu 进行了优化。为了细化前景/背景斑点，您可以使用一些形态学操作，尝试关闭斑点中的孔并获得更好的结果。但不要指望完美的结果。背景减法是一项困难的操作，您可以花费数小时微调给定数据集的参数，然后在现实世界中尝试您的代码......没有任何效果。灯光、阴影、背景随不感兴趣的对象发生变化……只是提到一些问题。

所以.. 不，没有一种简单而标准的技术来处理所谓的“blob 碎片”或“split-merge”问题（有时一个人被分成更多的 blob，有时更多的人被合并到一个 blob 中）。同样，它充满了关于这个论点的科学论文。但是有一些技术可以处理跟踪不完整或杂乱的观察。最简单的方法之一是在使用卡尔曼滤波器进行一些不完整观察的情况下尝试推断系统的真实状态。Opencv 对此有一个很好的实现。同样，如果您对“卡尔曼滤波器跟踪”或“GNN 数据关联”进行一些搜索，您会发现很多。

如果你想使用一些几何信息，比如估计一个人的身高等，你可以做到，但你需要相机的校准参数。这意味着让它们可用（标准 iphone 相机的微软 kinect 具有可用的参数）或通过相机校准过程计算它们。这意味着下载棋盘图像，将其打印在纸上，然后拍一些照片。然后，OpenCV 拥有进行校准的所有方法。之后，您需要估计地平面，然后使用一些简单的渲染投影/取消投影方法来回从 2d 到 3d 坐标，并估计 3d 标准人的 2d 边界框。

“行人跟踪”的现代方法使用一些检测器提取观察结果。背景减法可以给出一个地图来尝试检测而不是在孔图像上搜索，但是在这种情况下，斑点检测是无用的。在 OpenCV 中，这种情况下使用较多的实现是 Haar Adaboost 检测器和 HOG 检测器。在某些情况下，HOG 检测器似乎给出了更好的结果。OpenCV 中已经实现的分类器包括用于 Haar 的人脸检测器和用于 HOG 的人检测器。您可以在 OpenCV 存储库的 cpp 和 python 示例中找到示例。

如果标准检测失败（您的视频大小不同，或者您必须检测除行人之外的其他物体）..您必须训练自己的检测器。这意味着收集一些您想要检测的对象图像（正样本），以及一些带有其他图像的图像（负样本），并使用 SVN 等机器学习技术训练您自己的分类器。再次，谷歌是你的朋友 :)

祝你好运！

于 2014-01-27T13:15:55.777 回答
3

我会像这样创建一个人类跟踪器：

  1. 首先，我们必须初始化对象。如何？物体检测。使用 HOG 或具有适当模型的级联分类器（即 haarcascade_fullbody.xml）（或一起使用它们）。

  2. 然后，我们必须跟踪在边界框内找到的那些像素。如何？匹配过去的模板！思路：将多个累加成avector<cv::Mat>并使用mean templatefor相关。

更多想法：

  • 结合结果：使用检测器作为最可靠的观察模型，如果失败则切换到模板匹配。

  • 使用背景建模来过滤误报（FP 与背景的相关性非常好）。

此外，如果您想要基于轮廓的跟踪，请尝试在 opencv 示例文件夹中找到的 blobtrack_sample.cpp。

于 2014-01-27T13:43:07.170 回答
3

你看过阅读人追踪器吗？这是一个研究项目，但它是开源的并且非常有效。看这里

它现在可能还不是最先进的，但是可以使用源代码并且结构很好。

于 2013-08-07T22:25:52.477 回答
1

您缺少跟踪的“运动模型”组件。卡尔曼/粒子滤波器应该有所帮助。我更喜欢卡尔曼。

于 2014-09-23T06:32:30.197 回答