4

我一直无法将 calcOpticalFlowPyrLK 与 MatOfPoint2f 一起使用。我声明我的类型如下：

private Mat mPreviousGray;                  // previous gray-level image
private List<MatOfPoint2f> points;          // tracked features
private MatOfPoint initial;                 // initial position of tracked points

并使用以下内容查找和跟踪特征（我的代码基于 Robert Laganiere 的 C++ 示例光流应用程序。）

// Called whenever a new frame m is captured
private void OpticalFlow(Mat m, int maxDetectionCount, double qualityLevel,
    double minDistance) {

    if (points.get(0).total() < maxDetectionCount/2)                // Check if new points need to be added
    {
        // maxDetectionCount = 500
        // qualityLevel = 0.01
        // minDistance = 10
        Imgproc.goodFeaturesToTrack(m, initial, maxDetectionCount, qualityLevel, minDistance);

        // add the detected features to the currently tracked features
        points.get(0).push_back(initial);
        // Have checked length of points.get(0), is not zero.
    }

    // for first image of the sequence
    if(mPreviousGray.empty())
        m.copyTo(mPreviousGray);

    if( points.get(0).total() > 0 )   // EMG - 09/22/11 - fix optical flow crashing bug 
    {       
        // 2. track features
        Video.calcOpticalFlowPyrLK(mPreviousGray, m, // 2 consecutive images
                points.get(0), // input point position in first image
                points.get(1), // output point postion in the second image
                status,    // tracking success
                error);      // tracking error
    }

    ...

    m.copyTo(mPreviousGray);

    ...
}

以前，变量points是类型的List<List<Point>>，我将通过实例化 MatOfPoint2ffromList并将其传递给 calcOpticalFlowPyrLK 在类型之间进行转换。

但是，我不想再这样做了，因为这种从和到列表的转换会丢失和中的点之间的对应initial关系points。我想保留这种对应关系，因此我可以通过同时迭代两个矩阵中的项目来绘制光流线。

不幸的是，现在我有以下断言失败：

09-24 10:04:30.400: E/cv::error()(8216): OpenCV Error: Assertion failed ((npoints = prevPtsMat.checkVector(2, CV_32F, true)) >= 0) in void cv::calcOpticalFlowPyrLK(const cv::_InputArray&, const cv::_InputArray&, const cv::_InputArray&, const cv::_OutputArray&, const cv::_OutputArray&, const cv::_OutputArray&, cv::Size, int, cv::TermCriteria, int, double), file X:\Dev\git\opencv-2.4\modules\video\src\lkpyramid.cpp, line 593
09-24 10:04:30.400: E/AndroidRuntime(8216): FATAL EXCEPTION: Thread-321
09-24 10:04:30.400: E/AndroidRuntime(8216): CvException [org.opencv.core.CvException: X:\Dev\git\opencv-2.4\modules\video\src\lkpyramid.cpp:593: error: (-215) (npoints = prevPtsMat.checkVector(2, CV_32F, true)) >= 0 in function void cv::calcOpticalFlowPyrLK(const cv::_InputArray&, const cv::_InputArray&, const cv::_InputArray&, const cv::_OutputArray&, const cv::_OutputArray&, const cv::_OutputArray&, cv::Size, int, cv::TermCriteria, int, double)
09-24 10:04:30.400: E/AndroidRuntime(8216): ]
09-24 10:04:30.400: E/AndroidRuntime(8216):     at org.opencv.video.Video.calcOpticalFlowPyrLK_2(Native Method)
09-24 10:04:30.400: E/AndroidRuntime(8216):     at org.opencv.video.Video.calcOpticalFlowPyrLK(Video.java:445)

奇怪的是，如果我自己添加这个断言，在调用 calcOpticalFlowPyrLK 之前，它不会失败。

我希望有人可以帮助我找出真正的问题出在哪里，以及如何保持帧之间跟踪点之间的这种关系。

编辑：我发现需要做些什么来避免这个断言错误，然后应用程序行为正确，但是：

  • 我不知道为什么。
  • 我现在对 Calib3d.solvePnP 也有类似的问题，但是将 convertTo 应用于 imagePoints 和 objectPoints 并不能解决这里的问题，无论是CvType.CV_32FC2，CvType.CV_32F还是CvType.CV_64F

为了在 的情况下纠正断言失败calcOpticalFlowPyrLK，我已更改points.get(0).push_back(initial);为以下内容：

Imgproc.goodFeaturesToTrack(m, initial, maxDetectionCount, qualityLevel, minDistance);

MatOfPoint2f initial2f = new MatOfPoint2f();
initial.convertTo(initial2f, CvType.CV_32FC2);
// add the detected features to the currently tracked features
trackedpoints.get(0).push_back(initial2f);

所以我的问题变成了：有人可以为我解释一般情况，以便我知道如何解决我的 Calib3d.solvePnP 问题吗？

4

2 回答 2

1

calcOpticalFlowPyrLK 点参数的类型为 MatOfPoint2f，内部为 CV_32FC2。

solvePnP 第一个参数是MatOfPoint3f，内部是CV_32FC3。尝试转换为它以查看它是否修复。

一些 opencv 函数需要特定的 Mat 类型，我想出于效率原因，您必须手动选择正确的函数，而不是 opencv 自动猜测/转换。

于 2012-10-01T10:27:25.480 回答
0

其他线程中的某个人以前遇到过这个问题。我最近在OpenCV4Android的光流功能中遇到了这个问题（Assertion）。此解决方案仅在您无法处理以前的点矩阵时才有效：

而不是使用 convertTo() 方法，您应该将从 matOfKeyPoints.ToArray() 获得的 Keypoint[] 数组的每个元素放入 matOfPoints2f 数组中。

这个页面解释了原因：

    KeyPoint[] arrayOfkp = keypoints.toArray();
    org.opencv.core.Point[] arrayOfp = new org.opencv.core.Point[arrayOfkp.length];
    for(int j =0;j<arrayOfkp.length;j++)
    {
        arrayOfp[j] = new org.opencv.core.Point(0, 0);
        arrayOfp[j].x = (int) arrayOfkp[j].pt.x;
        arrayOfp[j].y = (int) arrayOfkp[j].pt.y;
    }
    prevPts.fromArray(arrayOfp);
于 2013-04-04T17:36:39.983 回答