0

给定一张图片im，

>>> np.random.seed(0)
>>> im = np.random.randint(0, 100, (10,5))
>>> im
array([[44, 47, 64, 67, 67],
       [ 9, 83, 21, 36, 87],
       [70, 88, 88, 12, 58],
       [65, 39, 87, 46, 88],
       [81, 37, 25, 77, 72],
       [ 9, 20, 80, 69, 79],
       [47, 64, 82, 99, 88],
       [49, 29, 19, 19, 14],
       [39, 32, 65,  9, 57],
       [32, 31, 74, 23, 35]])

例如，找到此图像的特定片段的最佳方法是什么

>>> im[6:9, 2:5]
array([[82, 99, 88],
       [19, 19, 14],
       [65,  9, 57]])

如果不存在特定组合（可能是由于噪声），我想要一个相似性度量，它搜索具有相似分布的片段并告诉我对于 的每个像素im，协议有多好。例如像

array([[0.03726647, 0.14738364, 0.04331007, 0.02704363, 0.0648282 ],
       [0.02993497, 0.04446428, 0.0772978 , 0.1805197 , 0.08999   ],
       [0.12261269, 0.18046972, 0.01985607, 0.19396181, 0.13062801],
       [0.03418192, 0.07163043, 0.15013723, 0.12156613, 0.06500945],
       [0.00768509, 0.12685481, 0.19178985, 0.13055806, 0.12701177],
       [0.19905991, 0.11637007, 0.08287372, 0.0949395 , 0.12470202],
       [0.06760152, 0.13495046, 0.06344035, 0.1556691 , 0.18991421],
       [0.13250537, 0.00271433, 0.12456922, 0.97      , 0.194389  ],
       [0.17563869, 0.10192488, 0.01114294, 0.09023184, 0.00399753],
       [0.08834218, 0.19591735, 0.07188889, 0.09617871, 0.13773224]])

示例代码是python。我认为应该有一个解决方案将内核与im. 但是，这将存在一个问题，即具有相同值但按比例缩放的段将给出更清晰的响应。

4

2 回答 2

1

模板匹配将是解决它的方法之一。当然深度学习/ML也可以用于更复杂的匹配。

大多数图像处理库都支持某种匹配功能，它比较一组 2 个图像 - 参考和要匹配的一个。在 OpenCV 中，它返回一个可用于确定匹配的分数。匹配方法使用支持比例和/或旋转不变匹配的各种函数。请注意您计划使用的方法中的许可限制。

如果图像可能并不总是准确，您可以使用标准偏差 (StdDev) 来允许允许偏差，然后将它们分类到存储桶中。根据要匹配的图像条件（照明、颜色可能很重要，除非您使用特定通道），也可以使用直方图匹配。使用直方图将避免完全匹配模板。

模板匹配参考：

于 2020-11-06T15:47:57.247 回答
0

感谢 banerjk 的出色回答 -模板匹配正是解决方案！

一些备份方法

考虑到我与内核相关的想法，有一些进展：当将图像与模板相关联（即我在问题中称为目标段）时，机会很高，即相关图像中最强烈的点（相对于平均强度）匹配模板位置（参见示例中的im和m）。似乎我不是第一个提出这个想法的人，如第 39 页的这些讲义中所示。

然而，这并不总是正确的。这种方法或多或少只是检测模板中最大值的权重。在这个例子中，im2它是这样构造的，它欺骗了这个概念。

如果事先在图像上应用一些过滤器（例如中值），它可能会变得更可靠。

我只是想在这里提一下，因为它可能在某些情况下具有优势（与模板匹配的维基百科实现相比，它应该具有更高的性能）。

例子

import numpy as np
from scipy import ndimage

np.random.seed(0)
im = np.random.randint(0, 100, (10,5))
t = im[6:9, 2:5]
print('t', t, sep='\n')

m = ndimage.correlate(im, t) / ndimage.correlate(im, np.ones(t.shape))
m /= np.amax(m)

print('im', im, sep='\n')
print('m', m, sep='\n')

print("this can be 'tricked', however")

im2 = im.copy()
im2[6:9, :3] = 0
im2[6,1] = 1

m2 = ndimage.correlate(im2, t) / ndimage.correlate(im2, np.ones(t.shape))
m2 /= np.amax(m2)

print('im2', im2, sep='\n')
print('m2', m2, sep='\n')

输出

t
[[82 99 88]
 [19 19 14]
 [65  9 57]]
im
[[44 47 64 67 67]
 [ 9 83 21 36 87]
 [70 88 88 12 58]
 [65 39 87 46 88]
 [81 37 25 77 72]
 [ 9 20 80 69 79]
 [47 64 82 99 88]
 [49 29 19 19 14]
 [39 32 65  9 57]
 [32 31 74 23 35]]
m
[[0.73776208 0.62161208 0.74504705 0.71202601 0.66743979]
 [0.70809611 0.70617161 0.70284942 0.80653741 0.67067733]
 [0.55047727 0.61675268 0.5937487  0.70579195 0.74351706]
 [0.7303857  0.77147963 0.74809273 0.59136392 0.61324214]
 [0.70041161 0.7717032  0.69220064 0.72463532 0.6957257 ]
 [0.89696894 0.69741108 0.64136612 0.64154719 0.68621613]
 [0.48509474 0.60700037 0.65812918 0.68441118 0.68835903]
 [0.73802038 0.83224745 0.87301124 1.         0.92272565]
 [0.72708573 0.64909142 0.54540817 0.60859883 0.52663327]
 [0.72061572 0.70357846 0.61626289 0.71932261 0.75028955]]
this can be 'tricked', however
im2
[[44 47 64 67 67]
 [ 9 83 21 36 87]
 [70 88 88 12 58]
 [65 39 87 46 88]
 [81 37 25 77 72]
 [ 9 20 80 69 79]
 [ 0  1  0 99 88]
 [ 0  0  0 19 14]
 [ 0  0  0  9 57]
 [32 31 74 23 35]]
m2
[[0.53981867 0.45483201 0.54514907 0.52098765 0.48836403]
 [0.51811216 0.51670401 0.51427317 0.59014141 0.49073293]
 [0.40278285 0.4512764  0.43444444 0.51642621 0.54402958]
 [0.5344214  0.56448972 0.54737758 0.43269951 0.44870774]
 [0.51248943 0.56465331 0.50648148 0.53021386 0.50906076]
 [0.78923691 0.56633529 0.51641414 0.44336403 0.50210263]
 [0.88137788 0.89779614 0.63552189 0.55070797 0.50367059]
 [0.88888889 1.         0.75544508 0.75694003 0.67515605]
 [0.43965976 0.48492221 0.37490287 0.48511085 0.38533625]
 [0.30754918 0.32478065 0.27066895 0.46685032 0.548985  ]]

也许有人可以为讲义的背景做出贡献。

更新：在JP Lewis，“Fast Normalized Cross-Correlation”，Industrial Light and Magic 中对此进行了讨论。在第一页。

于 2020-11-06T16:40:33.923 回答