问题的标题表明您有两个确切的图像要比较,这很简单。现在,如果您有相似的图像要比较,那么这就解释了为什么您没有找到完全令人满意的答案:没有适用于每个问题的指标给出预期结果(请注意,预期结果因应用程序而异)。问题之一是很难——在没有共同协议的意义上——比较具有多个波段的图像,比如彩色图像。为了解决这个问题,我将考虑在每个波段中应用给定的指标,并且该指标的结果将是最低的结果值。这假设度量标准具有良好的范围,例如 [0, 1],并且此范围内的最大值意味着图像是相同的(根据给定的度量标准)。反过来,
所以,我在这里要做的就是给你两个指标。其中一个是SSIM,另一个我称之为 NRMSE(均方误差根的归一化)。我选择介绍第二种,因为它是一种非常简单的方法,它可能足以解决您的问题。
让我们从示例开始。图像按以下顺序排列:f = PNG 格式的原始图像,g1 = 质量为 50% 的 JPEG f
(使用 制作convert f -quality 50 g
),g2 = 质量为 1% 的 JPEG f
,h =“变亮”g2。
结果(四舍五入):
- NRMSE(f, g1) = 0.96
- NRMSE(f, g2) = 0.88
- NRMSE(f, h) = 0.63
- SSIM(f, g1) = 0.98
- SSIM(f, g2) = 0.81
- SSIM(f, h) = 0.55
在某种程度上,这两个指标都很好地处理了修改,但SSIM
通过在图像实际上在视觉上不同时报告较低的相似性以及通过在图像在视觉上非常相似时报告更高的值来显示更明智。下一个示例考虑彩色图像(f = 原始图像,g = 5% 质量的 JPEG)。
- NRMSE(f, g) = 0.92
- SSIM(f, g) = 0.61
因此,由您决定您喜欢的指标是什么以及它的阈值。
现在,指标。我命名为 NRMSE 的只是 1 - [RMSE / ( maxval
- minval
)]。哪里maxval
是来自被比较的两个图像的最大强度,并且对于 分别相同minval
。RMSE 由 MSE 的平方根给出:sqrt[(sum(A - B) ** 2) / |A|],其中 |A| 表示 A 中的元素数。通过这样做,RMSE 给出的最大值为maxval
。如果您想进一步了解图像中 MSE 的含义,请参见例如https://ece.uwaterloo.ca/~z70wang/publications/SPM09.pdf。度量标准 SSIM(结构相似性)涉及更多,您可以在前面包含的链接中找到详细信息。要轻松应用指标,请考虑以下代码:
import numpy
from scipy.signal import fftconvolve
def ssim(im1, im2, window, k=(0.01, 0.03), l=255):
"""See https://ece.uwaterloo.ca/~z70wang/research/ssim/"""
# Check if the window is smaller than the images.
for a, b in zip(window.shape, im1.shape):
if a > b:
return None, None
# Values in k must be positive according to the base implementation.
for ki in k:
if ki < 0:
return None, None
c1 = (k[0] * l) ** 2
c2 = (k[1] * l) ** 2
window = window/numpy.sum(window)
mu1 = fftconvolve(im1, window, mode='valid')
mu2 = fftconvolve(im2, window, mode='valid')
mu1_sq = mu1 * mu1
mu2_sq = mu2 * mu2
mu1_mu2 = mu1 * mu2
sigma1_sq = fftconvolve(im1 * im1, window, mode='valid') - mu1_sq
sigma2_sq = fftconvolve(im2 * im2, window, mode='valid') - mu2_sq
sigma12 = fftconvolve(im1 * im2, window, mode='valid') - mu1_mu2
if c1 > 0 and c2 > 0:
num = (2 * mu1_mu2 + c1) * (2 * sigma12 + c2)
den = (mu1_sq + mu2_sq + c1) * (sigma1_sq + sigma2_sq + c2)
ssim_map = num / den
else:
num1 = 2 * mu1_mu2 + c1
num2 = 2 * sigma12 + c2
den1 = mu1_sq + mu2_sq + c1
den2 = sigma1_sq + sigma2_sq + c2
ssim_map = numpy.ones(numpy.shape(mu1))
index = (den1 * den2) > 0
ssim_map[index] = (num1[index] * num2[index]) / (den1[index] * den2[index])
index = (den1 != 0) & (den2 == 0)
ssim_map[index] = num1[index] / den1[index]
mssim = ssim_map.mean()
return mssim, ssim_map
def nrmse(im1, im2):
a, b = im1.shape
rmse = numpy.sqrt(numpy.sum((im2 - im1) ** 2) / float(a * b))
max_val = max(numpy.max(im1), numpy.max(im2))
min_val = min(numpy.min(im1), numpy.min(im2))
return 1 - (rmse / (max_val - min_val))
if __name__ == "__main__":
import sys
from scipy.signal import gaussian
from PIL import Image
img1 = Image.open(sys.argv[1])
img2 = Image.open(sys.argv[2])
if img1.size != img2.size:
print "Error: images size differ"
raise SystemExit
# Create a 2d gaussian for the window parameter
win = numpy.array([gaussian(11, 1.5)])
win2d = win * (win.T)
num_metrics = 2
sim_index = [2 for _ in xrange(num_metrics)]
for band1, band2 in zip(img1.split(), img2.split()):
b1 = numpy.asarray(band1, dtype=numpy.double)
b2 = numpy.asarray(band2, dtype=numpy.double)
# SSIM
res, smap = ssim(b1, b2, win2d)
m = [res, nrmse(b1, b2)]
for i in xrange(num_metrics):
sim_index[i] = min(m[i], sim_index[i])
print "Result:", sim_index
请注意,当给定大于图像时,ssim
拒绝比较图像。通常非常小,默认为 11x11,因此如果您的图像小于该值,则没有太多“结构”(来自度量的名称)可比较,您应该使用其他东西(如其他功能window
)。可能有更好的方法来实现,因为在 Matlab 中它运行得更快。window
nrmse
ssim