您在这里有三个相互关联的问题:
1/ 如何让 openCV 框架在 iOS 项目中运行
2/ 如何让模板匹配 c++ 示例代码在 iOS 项目中运行
3/ 如何使用相机视图进行实时模板匹配
1/ 如何让 openCV 框架在 iOS 项目中运行
- 按照您的描述下载并导入openCV框架
- 按照您的描述更改 .pch 文件
检查目标构建设置中的 c++ 标准库是否设置为 libc++(这是新项目的默认设置)
不要只导入 demo.cpp 而不进行如下所述的更改(它是一个具有自己main
功能的“原始”c++ 程序,需要进行更改才能作为 iOS/Cocoa 项目的一部分工作)。
不要乱用标头搜索路径、其他链接器标志等,如果您从 openCV.org 导入了预构建的框架,则没有必要这样做。
除非您知道需要,否则不要将 .m 文件更改为 .mm。我的建议是尽可能将你的 c++ 代码与你的 Objective-C 代码分开,所以大多数文件应该是 .m 文件(objective-C)或 .cpp 文件(c++)。您只需要 .mm 前缀作为“objective-C++”,您打算在同一个文件中混合使用objective-C 和c++。
2/ 如何让模板匹配 c++ 示例代码在 iOS 项目中运行
我们将进行设置,以便您的 iOS viewController - 以及您的大部分 iOS 代码 - 不需要知道图像是使用 openCV/C++ 处理的,同样 C++ 代码不需要知道它的输入位置或输出图像数据正在路由到。我们通过在两者之间创建一个小型包装类来实现这一点,它将 Objective-C 方法调用转换为 c++ 类成员函数并返回。我们还将在 UIImage 上设置一个类别,将图像格式从 iOS 友好的 UIImage 转换为 openCV-native cv::Mat。
UIImage+OpenCV 分类
您需要一些实用方法来从 UIImage 转换为 cv::Mat 并返回。放置这些的好地方是 UIImage 类别。在 XCode 中:File>New FIle>Cocoa Touch>Objective-C 类别将为您设置。调用类别OpenCV并使其成为UIImage上的类别。您需要将此 .m 文件更改为 .mm,因为它需要了解 openCV 框架中的 c++ 类型。
标头应如下所示:
#import <UIKit/UIKit.h>
@interface UIImage (OpenCV)
//cv::Mat to UIImage
+ (UIImage *)imageWithCVMat:(const cv::Mat&)cvMat;
//UIImage to cv::Mat
- (cv::Mat)cvMat;
@end
.mm 文件应该通过密切遵循这个适用于类别方法的 openCV.org 代码示例来实现这些方法(例如,您不将 UIImage 传递给实例方法,而是使用 引用它self
)。
您可以像使用 UIImage 类和实例方法一样使用类别方法,如下所示:
UIImage* image = [UIImage imageWithCVMat:matImage]; //class method
cv::Mat matImage = [image cvMat]; //instance method
openCV 包装类
制作一个包装类来将你的 Objective-C 方法(从 viewController 调用)转换为 C++ 函数
像这样的标题
// CVWrapper.h
#import <Foundation/Foundation.h>
@interface CVWrapper : NSObject
+ (NSImage*) templateMatchImage:(UIImage*)image
patch:(UIImage*)patch
method:(int)method;
@end
我们发送模板图像、补丁图像和模板匹配方法,并返回显示匹配的图像
实现(.mm 文件)
// CVWrapper.mm
#import "CVWrapper.h"
#import "CVTemplateMatch.h"
#import "UIImage+OpenCV.h"
@implementation CVWrapper
+ (UIImage*) templateMatchImage:(UIImage *)image
patch:(UIImage *)patch
method:(int)method
{
cv::Mat imageMat = [image cvMat];
cv::Mat patchMat = [patch cvMat];
cv::Mat matchImage =
CVTemplateMatch::matchImage(imageMat,
patchMat,
method);
UIImage* result = [UIImage imageWithCVMat:matchImage];
return result;
}
我们有效地采用标准的 Objective-C 方法和 UIImage 类型,并将它们转换为对具有 c++(openCV 框架)类型的 C++ 成员函数的调用,并将结果转换回 UIImage。
C++ 模板匹配类
标题:
// TemplateMatch.h
#ifndef __CVOpenTemplate__CVTemplateMatch__
#define __CVOpenTemplate__CVTemplateMatch__
class CVTemplateMatch
{
public:
static cv::Mat matchImage (cv::Mat imageMat,
cv::Mat patchMat,
int method);
};
#endif /* defined(__CVOpenTemplate__CVTemplateMatch__) */
@end
执行:
这是模板匹配 openCV 示例代码,重新编写为类实现:
// TemplateMatch.cpp
/*
Alterations for use in iOS project
[1] remove GUI code (iOS supplies the GUI)
[2] change main{} to static member function
with appropriate inputs and return value
[3] change MatchingMethod{} signature
to return Mat value
*/
#include "CVTemplateMatch.h"
//[1] #include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>
using namespace std;
using namespace cv;
/// Global Variables
Mat img; Mat templ; Mat result;
//[1] char* image_window = "Source Image";
//[1] char* result_window = "Result window";
int match_method;
//[1] int max_Trackbar = 5;
/// Function Headers
Mat MatchingMethod( int, void* ); //[3] (added return value to function)
// [2] /** @function main */
// [2] int main( int argc, char** argv )
Mat CVTemplateMatch::matchImage (Mat image,Mat patch, int method)
// [2]
{
/// Load image and template
//[2] img = imread( argv[1], 1 );
//[2] templ = imread( argv[2], 1 );
img = image; //[2]
templ = patch; //[2]
match_method = method; //[2]
/// Create windows
//[1] namedWindow( image_window, CV_WINDOW_AUTOSIZE );
//[1] namedWindow( result_window, CV_WINDOW_AUTOSIZE );
/// Create Trackbar
//[1] char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
//[1] createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
Mat result = MatchingMethod( 0, 0 );
//[1] waitKey(0);
//[2] return 0;
return result; //[2]
}
//[3] void MatchingMethod( int, void* )
Mat MatchingMethod( int, void* )
{
/// Source image to display
Mat img_display;
img.copyTo( img_display );
/// Create the result matrix
int result_cols = img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;
result.create( result_cols, result_rows, CV_32FC1 );
/// Do the Matching and Normalize
matchTemplate( img, templ, result, match_method );
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
/// Localizing the best match with minMaxLoc
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
/// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
if( match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }
/// Show me what you got
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
//[1] imshow( image_window, img_display );
//[1] imshow( result_window, result );
return img_display; //[3] add return value
}
现在viewController
你只需要调用这个方法:
UIImage* matchedImage =
[CVWrapper templateMatchImage:self.imageView.image
patch:self.patchView.image
method:0];
看不到c++。
3/ 模板匹配与实时摄像机视图
简短的回答:matchTemplate
在实时相机环境中不会很好地工作。该算法正在图像中寻找与补丁具有相同比例和方向的匹配项:它以原始方向和大小在图像上滑动补丁块,比较最佳匹配。如果图像是透视倾斜的、不同的大小或旋转到不同的方向,这不会产生很好的结果。
您可以查看 OpenCV 的特征检测算法,其中一些已移至非免费。这是对 SIFT 的一个很好的描述,可以为您提供这个想法。对于视频捕获,您可能还想查看:这里是一个cap_ios.h
教程。opencv2/highgui