1

想象一下，我有 2 张图片。两者看起来相同但有差异。例如，image1图像中有一本小册子但image2没有，但 image2 中的其他所有内容都与 image1 相同。

这是我的代码：

#include <stdio.h>
#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/features2d/features2d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include <opencv2/nonfree/features2d.hpp>

using namespace cv;

void readme();


int main( int argc, char** argv )
{


  Mat img_object = imread( "C:/Users/Yohan/Pictures/ironManSpecial2.jpg",CV_LOAD_IMAGE_GRAYSCALE);
  Mat img_scene = imread("C:/Users/Yohan/Pictures/noIronMan.jpg",CV_LOAD_IMAGE_GRAYSCALE);

  if( !img_object.data || !img_scene.data )
  { std::cout<< " --(!) Error reading images " << std::endl; return -1; }

  //-- Step 1: Detect the keypoints using SURF Detector
  int minHessian = 400;

  SurfFeatureDetector detector( minHessian );

  std::vector<KeyPoint> keypoints_object, keypoints_scene;

  detector.detect( img_object, keypoints_object );
  detector.detect( img_scene, keypoints_scene );

  //-- Step 2: Calculate descriptors (feature vectors)
  SurfDescriptorExtractor extractor;

  Mat descriptors_object, descriptors_scene;

  extractor.compute( img_object, keypoints_object, descriptors_object );
  extractor.compute( img_scene, keypoints_scene, descriptors_scene );

  //-- Step 3: Matching descriptor vectors using FLANN matcher
  FlannBasedMatcher matcher;
  std::vector< DMatch > matches;
  matcher.match( descriptors_object, descriptors_scene, matches );

  double max_dist = 0; double min_dist = 100;

  //-- Quick calculation of max and min distances between keypoints
  for( int i = 0; i < descriptors_object.rows; i++ )
  { double dist = matches[i].distance;
    if( dist < min_dist ) min_dist = dist;
    if( dist > max_dist ) max_dist = dist;
  }

  printf("-- Max dist : %f \n", max_dist );
  printf("-- Min dist : %f \n", min_dist );

  //-- Draw only "good" matches (i.e. whose distance is less than 3*min_dist )
  std::vector< DMatch > good_matches;

  for( int i = 0; i < descriptors_object.rows; i++ )
  { if( matches[i].distance < 3*min_dist )
    { good_matches.push_back( matches[i]); }
  }  

  Mat img_matches;
  drawMatches( img_object, keypoints_object, img_scene, keypoints_scene, 
               good_matches, img_matches, Scalar::all(-1), Scalar::all(-1), 
               vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS ); 


  //-- Localize the object from img_1 in img_2 
  std::vector<Point2f> obj;
  std::vector<Point2f> scene;

  for( int i = 0; i < good_matches.size(); i++ )
  {
    //-- Get the keypoints from the good matches
    obj.push_back( keypoints_object[ good_matches[i].queryIdx ].pt );
    scene.push_back( keypoints_scene[ good_matches[i].trainIdx ].pt ); 
  }

  Mat H = findHomography( obj, scene, CV_RANSAC );

  //-- Get the corners from the image_1 ( the object to be "detected" )
  std::vector<Point2f> obj_corners(4);
  obj_corners[0] = cvPoint(0,0); obj_corners[1] = cvPoint( img_object.cols, 0 );
  obj_corners[2] = cvPoint( img_object.cols, img_object.rows ); obj_corners[3] = cvPoint( 0, img_object.rows );
  std::vector<Point2f> scene_corners(4);

  perspectiveTransform( obj_corners, scene_corners, H);


  //-- Draw lines between the corners (the mapped object in the scene - image_2 )
  line( img_matches, scene_corners[0] + Point2f( img_object.cols, 0), scene_corners[1] + Point2f( img_object.cols, 0), Scalar(0, 255, 0), 4 );
  line( img_matches, scene_corners[1] + Point2f( img_object.cols, 0), scene_corners[2] + Point2f( img_object.cols, 0), Scalar( 0, 255, 0), 4 );
  line( img_matches, scene_corners[2] + Point2f( img_object.cols, 0), scene_corners[3] + Point2f( img_object.cols, 0), Scalar( 0, 255, 0), 4 );
  line( img_matches, scene_corners[3] + Point2f( img_object.cols, 0), scene_corners[0] + Point2f( img_object.cols, 0), Scalar( 0, 255, 0), 4 );

  //-- Show detected matches
  namedWindow( "Good Matches & Object detection", CV_WINDOW_NORMAL );
  imshow( "Good Matches & Object detection", img_matches );

  waitKey(0);

  return 0;
}

上面的代码用于查找“匹配项”。这是它的结果

在此处输入图像描述

您可以在 image1（左侧图像）中看到“钢铁侠 3 宣传册”，但它不在 image2（右侧图像）中。现在，我需要发现 image2 中缺少“某些东西”并在控制台中打印一条消息。

应该考虑的是，这本《钢铁侠3手册》只是一个例子，在实际场景中我不知道会丢失什么。

我怎样才能做到这一点？

4

2 回答 2

2

您可以尝试使用找到的关键点对齐图像，然后找到像素差异，或应用模板匹配算法。

于 2013-09-19T20:15:16.477 回答
2

您将提前获得有关图像的哪些信息？根据存在的某些对象、方向、特征等，它们在外观上是否都相似？如果您有此信息，则可以使用直接的点匹配算法（即：计算奇异值分解等）。

如果没有，最直接的方法是使用一些常用方法来收集一些有用的统计数据。

首先，考虑直方图均衡或直方图归一化，以及一些简单的去噪滤波器（即：您是否有高斯噪声，需要应用简单的平滑滤波器，或脉冲/椒盐噪声，需要应用中值/模式筛选？）。

现在，获取有关图像的一些基本统计信息。获取平均强度值，以及每个的方差/标准偏差。如果只是两个图像之间的微小变化，那么两个图像的这些值应该非常相似。如果没有，您可能需要重新访问您的过滤和均衡阶段。

最后，考虑诸如主成分分析之类的东西（即：计算协方差矩阵，计算其特征值，并确定 2 个最大值，并计算与这些值相关的特征向量）。从中，您可以找到图像最暗或最亮的特征，以及它的对齐方式和位置（即：质心）。您基本上可以让两个图像相互对齐，并具有相同的方向。

有了这个，您可以裁剪/修剪两个图像的边缘，并且您将拥有两个看起来非常相似的对齐图像。现在，阈值过滤器的应用会将图像缩小为黑白，您可以从另一张图像中减去一张图像。凭借之前应用于两张图像的操作，两者之间的差异将只是最明显的特征，并且实际上是一个以图形方式定义它的掩码。

希望这可以帮助。如果您探索这种方法，如果您发现它引导您朝着正确的方向前进，我可以提供更多信息。

祝你好运！

于 2013-09-19T20:27:29.710 回答