11

如何使用 FLANN 优化多张图片的 SIFT 特征匹配？

我有一个取自 Python OpenCV 文档的工作示例。但是，这是将一张图像与另一张图像进行比较，而且速度很慢。我需要它来搜索一系列图像（几千张）中匹配的特征，并且我需要它更快。

我目前的想法：

  1. 运行所有图像并保存特征。如何？
  2. 将来自相机的图像与上述基础进行比较，并找到正确的图像。如何？
  3. 给我结果，匹配图像什么的。

http://docs.opencv.org/trunk/doc/py_tutorials/py_feature2d/py_feature_homography/py_feature_homography.html

import sys # 仅用于调试
将 numpy 导入为 np
导入简历2
从 matplotlib 导入 pyplot 作为 plt

MIN_MATCH_COUNT = 10

img1 = cv2.imread('image.jpg',0) # queryImage
img2 = cv2.imread('target.jpg',0) # trainImage

# 启动 SIFT 检测器
筛选 = cv2.SIFT()

# 使用 SIFT 找到关键点和描述符
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)

FLANN_INDEX_KDTREE = 0
index_params = dict（算法 = FLANN_INDEX_KDTREE，树 = 5）
search_params = 字典（检查 = 50）

flann = cv2.FlannBasedMatcher(index_params, search_params)

匹配 = flann.knnMatch(des1,des2,k=2)

# 根据劳氏比率测试存储所有好的匹配。
好=[]
对于 m,n 在比赛中：
    如果 m.distance MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)

    M, 掩码 = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC,5.0)
    matchMask = mask.ravel().tolist()

    h,w = img1.shape
    pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
    dst = cv2.perspectiveTransform(pts,M)

    img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA)

别的：
    print "没有找到足够的匹配 - %d/%d" % (len(good),MIN_MATCH_COUNT)
    匹配掩码 = 无

draw_params = dict(matchColor = (0,255,0), # 绘制绿色匹配
                   singlePointColor = 无，
                   matchesMask = matchesMask, # 仅绘制内点
                   标志 = 2)

img3 = cv2.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)

plt.imshow(img3, '灰色'),plt.show()

更新

在尝试了很多事情之后，我现在可能已经更接近解决方案了。我希望可以建立索引，然后像这样在其中搜索：

flann_params = dict（算法=1，树=4）
flann = cv2.flann_Index(npArray, flann_params)
idx, dist = flann.knnSearch(queryDes, 1, params={})

但是我仍然没有设法为 flann_Index 参数构建一个接受的 npArray 。

循环遍历所有图像作为图像：
  npArray.append（sift.detectAndCompute（图像，无））
npArray = np.array(npArray)
4

3 回答 3

6

随着@stanleyxu2005 的回复，我想添加一些关于如何自己进行整个匹配的提示，因为我目前正在做这样的事情。

  1. 我强烈建议创建一些包含 cv::Mat 的自定义类，但也可以存储各种其他基本数据。在我的例子中，我有一个 ImageContainer 存储原始图像（我将用于最终拼接）、处理后的图像（灰度、未失真等）、它的关键点和这些图像的描述符。通过这样做，您可以在组织良好的情况下访问所有匹配相关的信息。您可以在其中实现关键点提取和描述符生成，也可以在类外部执行此操作并将结果存储在该容器中。
  2. 将所有图像容器存储在某种结构中（矢量通常是一个不错的选择）以便于访问。
  3. 我还创建了一个名为 ImageMultiMatchContainer 的类，它存储一个指向给定查询图像的指针（所有图像都是查询图像），一个带有指向所有训练图像的指针的向量（对于图像集的单个查询图像，所有其他图像都是训练图像）匹配到它，以及每个匹配的匹配向量的向量。在这里，我偶然发现了一个存储问题-首先，您必须跳过图像与其自身的匹配，因为它毫无意义；其次，您会遇到两次比较两个图像的问题，因此如果您有很多图像，则会产生相当大的开销。第二个问题是由于我们遍历所有图像（查询图像）并将它们与集合中的其余图像（训练图像）进行比较。在某些时候，我们有图像 X（查询）与图像 Y（火车）相匹配，但后来我们也有图像 Y（现在查询）与图像 X（现在训练）匹配。如您所见，这也是毫无意义的，因为它基本上将同一对图像匹配了两次。这可以通过创建一个类（MatchContainer）来解决（目前正在解决这个问题），该类存储一个指向匹配对中两个图像中每一个的指针以及匹配向量。您将其存储在中心位置（在我的情况下，这是我的匹配器类），并且对于每个图像作为查询图像，您检查火车图像的匹配图像列表。如果它为空，则创建一个新的 MatchContainer 并将其添加到其余的 MatchContainer 中。如果不是，那么您查看它并查看当前查询图像是否不存在（比较指针是一种快速操作）。如果是，那么您只需将指针传递给该 MatchContainer' s 向量项，用于存储这两个图像的匹配项。如果不是这种情况，您就好像它是空的并创建一个新的 MatchContainer 等。 MatchingContainers 应该存储在一个访问时间短的数据结构中，因为您会经常查看它们并从头到尾迭代成本很多时间。我正在考虑使用地图，但也许某种树也可以提供一些优势。
  4. 单应性估计是一个非常棘手的部分。这里我推荐你看看捆绑块调整。我看到 OpenCV 中的拼接器类有一个 BundleBase 类，但尚未对其进行测试以查看其中的内容。

一般的建议是查看 OpenCV 中的拼接过程并阅读源代码。拼接管道是一组直接的过程，您只需要看看您可以如何准确地实现单个步骤。

于 2014-05-17T14:46:43.773 回答
5

我从来没有在 Python 中解决过这个问题，但是我将环境切换到了 C++，您可以在其中获得更多 OpenCV 示例，并且不必使用文档较少的包装器。

可以在此处找到有关我在多个文件中进行匹配的问题的示例：https ://github.com/Itseez/opencv/blob/2.4/samples/cpp/matching_to_many_images.cpp

于 2014-04-06T14:03:07.533 回答
4

以下是我的几条建议：

  1. 您应该使用适当的技术来减少点数据的数量。
  2. 重复计算参考图像是一种浪费。您应该持久化所有计算的参考。
  3. 不要将计算放在移动设备上。您最好将捕获的图像的计算参考上传到功能强大的服务器并在那里进行搜索。

这是一个非常有趣的话题。我的耳朵也在张开。

于 2014-03-08T17:11:13.853 回答