0

背景：我有需要比较差异的图像。这些图像很大（大约 1400x9000 像素）、机器生成且高度受限（特定线性 UI 的屏幕截图），并且预计几乎相同，不同之处是以下三种可能性之一：

  • 图 1 有一个部分 图 2 缺失
  • 图像 1 缺少部分图像 2
  • 两张图片都有给定的部分，但其内容不同

我正在尝试构建一个工具来突出人类审阅者的差异，本质上是面向行的差异的图像版本。为此，我试图逐行扫描图像并比较它们以确定这些行是否相同。我的最终目标是一个实际的类似差异的输出，它可以检测到部分丢失/添加/不同，并尽快将相同内容的其余部分同步图像，但对于第一次剪辑，我是采用更简单的方法，其中两个图像重叠（alpha 混合），不同的线条用特定颜色突出显示（即 alpha 与第三行纯色混合）。起初我尝试使用 Python Imaging Library，但这太慢了几个数量级，所以我决定尝试使用vips，这应该更快。vips但是，我完全不知道如何在使用操作后表达我的意思。更简单版本的伪代码本质上是：

out = []
# image1 and image2 are expected, but not guaranteed to have the same height
# they are likely to have different heights if different
# most lines are entirely white pixels
for line1, line2 in zip(image1, image2):
    if line1 == line2:
        out.append(line1)
    else:
        # ALL_RED is a line composed of solid red pixels
        out.append(line1.blend(line2, 0.5).blend(ALL_RED, 0.5))

我pyvips在我的项目中使用，但我也对使用普通vips或任何其他绑定的代码感兴趣，因为这些操作是共享的，并且很容易跨方言翻译。

编辑：根据要求添加示例图像图像1 图2

编辑 2：缺少/添加/更改部分的全尺寸图像：

4

2 回答 2

1

如果您可以选择 OpenCV 和 NumPy，那么至少有一个非常简单的解决方案可以用于查找和着色不同的行。

在我的方法中，我只是使用 计算像素级差异np.abs，并使用 找到非零行索引np.nonzero。使用这些找到的行索引，我设置了一个额外的黑色图像并为每一行绘制红线。最终的混合只是一些线性混合：

0.5 * image1 + 0.5 * image2

对于所有相等的行，或

0.333 * image1 + 0.333 * image2 + 0.333 * red

对于所有不同的行。

这是最终的代码：

import cv2
import numpy as np

# Load images
first = cv2.imread('9gOlq.png', cv2.IMREAD_COLOR)
second = cv2.imread('1Hdx4.png', cv2.IMREAD_COLOR)

# Calcluate absolute differences between images
diff = np.abs(np.float32(first) - np.float32(second))

# Find all non-zero rows
nz_rows = np.unique(np.nonzero(diff)[0])

# Set up image with red lines
red = np.zeros(first.shape, np.uint8)
red[nz_rows, :, :] = [0, 0, 255]

# Set up output image
output = np.uint8(0.5 * first + 0.5 * second)
output[nz_rows, :, :] = 0.333 * first[nz_rows, :, :] + 0.333 * second[nz_rows, :, :] + 0.333 * red[nz_rows, :, :]

# Show results
cv2.imshow("diff", np.array(diff, dtype=np.uint8))
cv2.imshow("output", output)
cv2.waitKey()
cv2.destroyAllWindows()

差异图像diff如下所示：

差异图像

最后的output样子是这样的：

输出

正如您在问题中描述的那样，看到两个带有省略部分的输入图像会很有趣。此外，有必要使用原始大小的图像测试这种方法，因为您提到时间至关重要。

无论如何-希望有帮助！

于 2019-10-22T08:09:11.850 回答
1

只使用差异怎么样？它很快。您需要做的就是一次将您的 PNG 转换为一个扫描线的文本，然后解析 diff 输出。

例如：

#!/usr/bin/env python3

import sys
import os
import re
import pyvips

# calculate a checksum for each scanline and write to name_out    
def scanline_checksum(name_in, name_out):
    a = pyvips.Image.new_from_file(name_in, access="sequential")
    # unfold colour channels to make a wider 1-band image
    a = a.bandunfold()
    # xyz makes an index image, where the value of each pixel is its coordinate
    b = pyvips.Image.xyz(a.width, a.height)
    # make a pow gradient image ... each pixel is some power of the x coordinate
    b = b[0] ** 0.5
    # now multiply and sum to make a checksum for each scanline
    # "project" returns sum of columns, sum of rows
    sum_of_columns, sum_of_rows = (a * b).project()
    sum_of_rows.write_to_file(name_out)

to_csv(sys.argv[1], "1.csv")
to_csv(sys.argv[2], "2.csv")

os.system("diff 1.csv 2.csv > diff.csv")

for line in open("diff.csv", "r"):
    match = re.match("(\\d+),(\\d+)c(\\d+),(\\d+)", line)
    if not match:
        continue
    print(line)

对于您的两个测试图像，我看到：

$ time ./diff.py 1.png 2.png 
264,272c264,272
351,359c351,359
real    0m0.346s
user    0m0.445s
sys 0m0.033s

在这台老年笔记本电脑上。您需要做的就是使用这些“更改”命令来标记您的图像。

于 2019-10-22T08:51:33.643 回答