2

我正在编码的工具中的第一个处理步骤是找到 4 个黑色大方块的外角的坐标。然后，它们将用于进行单应变换，以对图像进行歪斜/反旋转（也称为透视变换），最终得到一个矩形图像。这是一个旋转和嘈杂输入的示例（在此处下载链接）：

在此处输入图像描述

为了只保留大方块，我使用了诸如关闭/打开之类的形态转换：

import cv2, numpy as np
img = cv2.imread('rotatednoisy-cropped.png', cv2.IMREAD_GRAYSCALE)
kernel = np.ones((30, 30), np.uint8)
img = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)
cv2.imwrite('output.png', img)

输入文件（下载链接）：

在此处输入图像描述

形态变换后的输出：

在此处输入图像描述

问题：输出的正方形不再是正方形，因此正方形左上角的坐标根本不精确！

我可以减小内核大小，但它会保留更多不需要的小元素。

问题：如何更好地检测正方形的角？

笔记：

  • 由于形态闭合只是膨胀+侵蚀，我找到了罪魁祸首：

    import cv2, numpy as np
img = cv2.imread('rotatednoisy-cropped.png', cv2.IMREAD_GRAYSCALE)
kernel = np.ones((30, 30), np.uint8)
img = cv2.dilate(img, kernel, iterations = 1)

    这一步之后，还是没问题的：

    在此处输入图像描述

    然后

    img = cv2.erode(img, kernel, iterations = 1)

    给

    在此处输入图像描述

    现在不行了！

4

3 回答 3

5

有关如何消除图像偏斜的详细说明，请参阅此链接。

import cv2
import numpy as np

def corners(box):
    cx,cy,w,h,angle = box[0][0],box[0][1],box[1][0],box[1][1],box[2]
    CV_PI = 22./7.
    _angle = angle*CV_PI/180.;
    b = np.cos(_angle)*0.5;
    a = np.sin(_angle)*0.5;

    pt = []
    pt.append((int(cx - a*h - b*w),int(cy + b*h - a*w)));
    pt.append((int(cx + a*h - b*w),int(cy - b*h - a*w)));
    pt.append((int(2*cx - pt[0][0]),int(2*cy - pt[0][1])));
    pt.append((int(2*cx - pt[1][0]),int(2*cy - pt[1][1])));
    return pt

if __name__ == '__main__':

    image = cv2.imread('image.jpg',cv2.IMREAD_UNCHANGED)

    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

    n = 3
    sigma = 0.3 * (n/2 - 1) + 0.8
    gray = cv2.GaussianBlur(gray, ksize=(n,n), sigmaX=sigma)

    ret,binary = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU+cv2.THRESH_BINARY)

    _,contours,_ = cv2.findContours(binary, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)

    contours.sort(key=lambda x: len(x), reverse=True)

    points = []
    for i in range(0,4):
        shape = cv2.approxPolyDP(contours[i], 0.05*cv2.arcLength(contours[i],True), True)
        if len(shape) == 4:
            points.append(shape)

    points = np.array(points,dtype=np.int32)
    points = np.reshape(points, (-1,2))
    box = cv2.minAreaRect(points)
    pt = corners(box)

    for i in range(0,4):
       image = cv2.line(image, (pt[i][0],pt[i][1]), (pt[(i+1)%4][0],pt[(i+1)%4][1]), (0,0,255))


    (h,w) = image.shape[:2]
    (center) = (w//2,h//2)
    angle = box[2]

    if angle < -45:
        angle = (angle+90)
    else:
        angle = -angle

    M = cv2.getRotationMatrix2D(center, angle, 1.0)
    rotated = cv2.warpAffine(image, M, (w,h), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_CONSTANT)

    cv2.imshow('image', image)
    cv2.imshow('rotated', rotated)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

图片 结果

于 2018-06-18T17:50:39.080 回答
2

您可以尝试搜索并过滤掉您的特定轮廓（黑色矩形）并用键对其进行排序。然后为每个轮廓（左、右、上、下）选择极值点，您将得到这些点。请注意，这种方法仅适用于这张图片，如果图片被旋转到其他方向，您必须相应地更改代码。我不是专家，但我希望这会有所帮助。

import numpy as np
import cv2


img = cv2.imread("rotate.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
ret, threshold = cv2.threshold(gray,150,255,cv2.THRESH_BINARY)
im, contours, hierarchy = cv2.findContours(threshold,cv2.RETR_TREE,cv2.CHAIN_APPROX_NONE)
contours.sort(key=lambda c: np.min(c[:,:,1]))
j = 1

if len(contours) > 0:
    for i in range(0, len(contours)):
        size = cv2.contourArea(contours[i])
        if 90 < size < 140:
            if j == 1:
                c1 = contours[i]
                j += 1
            elif j == 2:
                c2 = contours[i]
                j += 1
            elif j == 3:
                c3 = contours[i]
                j += 1
            elif j == 4:
                c4 = contours[i]
                break

Top = tuple(c1[c1[:, :, 1].argmin()][0])
Right = tuple(c2[c2[:, :, 0].argmax()][0])
Left = tuple(c3[c3[:, :, 0].argmin()][0])
Bottom = tuple(c4[c4[:, :, 1].argmax()][0])

cv2.circle(img, Top, 2, (0, 255, 0), -1)
cv2.circle(img, Right, 2, (0, 255, 0), -1)
cv2.circle(img, Left, 2, (0, 255, 0), -1)
cv2.circle(img, Bottom, 2, (0, 255, 0), -1)

cv2.imshow("Image", img)
cv2.waitKey(0)

结果：

在此处输入图像描述

于 2018-06-18T15:49:16.843 回答
0

您可以使用合适的阈值在二值化后将正方形提取为单个 blob，并根据大小选择合适的正方形。如果需要，您也可以先使用中值滤波器进行降噪。

然后一个紧密旋转的边界矩形将为您提供角（您可以通过在凸壳上运行旋转卡尺来获得它）。

于 2018-06-18T14:52:14.953 回答