python - 如何使用 PIL 库查找子图像？

Question

我想使用 PIL 库从大图像中找到子图像。我也想知道找到它的坐标？

Answer 1

import cv2  
import numpy as np  
image = cv2.imread("Large.png")  
template = cv2.imread("small.png")  
result = cv2.matchTemplate(image,template,cv2.TM_CCOEFF_NORMED)  
print np.unravel_index(result.argmax(),result.shape)

这对我来说工作正常且有效。

Answer 2

我设法只使用 PIL 来做到这一点。

一些警告：

1. 这是一个像素完美的搜索。它只是寻找匹配的 RGB 像素。
2. 为简单起见，我删除了 alpha/透明度通道。我只是在寻找 RGB 像素。
3. 此代码将整个子图像像素阵列加载到内存中，同时将大图像保留在内存之外。在我的系统上，Python 为通过 1920x1200 屏幕截图搜索的微小 40x30 子图像维护了约 26 MiB 的内存占用。
4. 这个简单的例子效率不高，但提高效率会增加复杂性。在这里，我保持直截了当且易于理解。
5. 此示例适用于 Windows 和 OSX。未在 Linux 上测试。它只截取主显示器的屏幕截图（用于多显示器设置）。

这是代码：

import os
from itertools import izip

from PIL import Image, ImageGrab


def iter_rows(pil_image):
    """Yield tuple of pixels for each row in the image.

    From:
    http://stackoverflow.com/a/1625023/1198943

    :param PIL.Image.Image pil_image: Image to read from.

    :return: Yields rows.
    :rtype: tuple
    """
    iterator = izip(*(iter(pil_image.getdata()),) * pil_image.width)
    for row in iterator:
        yield row


def find_subimage(large_image, subimg_path):
    """Find subimg coords in large_image. Strip transparency for simplicity.

    :param PIL.Image.Image large_image: Screen shot to search through.
    :param str subimg_path: Path to subimage file.

    :return: X and Y coordinates of top-left corner of subimage.
    :rtype: tuple
    """
    # Load subimage into memory.
    with Image.open(subimg_path) as rgba, rgba.convert(mode='RGB') as subimg:
        si_pixels = list(subimg.getdata())
        si_width = subimg.width
        si_height = subimg.height
    si_first_row = tuple(si_pixels[:si_width])
    si_first_row_set = set(si_first_row)  # To speed up the search.
    si_first_pixel = si_first_row[0]

    # Look for first row in large_image, then crop and compare pixel arrays.
    for y_pos, row in enumerate(iter_rows(large_image)):
        if si_first_row_set - set(row):
            continue  # Some pixels not found.
        for x_pos in range(large_image.width - si_width + 1):
            if row[x_pos] != si_first_pixel:
                continue  # Pixel does not match.
            if row[x_pos:x_pos + si_width] != si_first_row:
                continue  # First row does not match.
            box = x_pos, y_pos, x_pos + si_width, y_pos + si_height
            with large_image.crop(box) as cropped:
                if list(cropped.getdata()) == si_pixels:
                    # We found our match!
                    return x_pos, y_pos


def find(subimg_path):
    """Take a screenshot and find the subimage within it.

    :param str subimg_path: Path to subimage file.
    """
    assert os.path.isfile(subimg_path)

    # Take screenshot.
    with ImageGrab.grab() as rgba, rgba.convert(mode='RGB') as screenshot:
        print find_subimage(screenshot, subimg_path)

速度：

$ python -m timeit -n1 -s "from tests.screenshot import find" "find('subimg.png')"
(429, 361)
(465, 388)
(536, 426)
1 loops, best of 3: 316 msec per loop

在运行上述命令时，我在运行时沿对角线移动了包含子图像的窗口timeit。

Answer 3

听起来您想执行对象检测，可能是通过模板匹配。除非您正在寻找精确的逐像素匹配，否则这不是一个微不足道的问题，而且 PIL 并不打算做这种事情。

Jan 是对的，您应该尝试 OpenCV。它是一个强大的计算机视觉库，具有良好的 Python 绑定。

这是 Python 中一个很好的简短示例，它在匹配区域周围绘制一个矩形： https ://github.com/jungilhan/Tutorial/blob/master/OpenCV/templateMatching.py