0

我有一些代码，主要取自这篇文章底部链接的各种来源，用 Python 编写，它采用形状图像[height, width]和一些[x_min, y_min, x_max, y_max]格式的边界框，都是 numpy 数组，并逆时针旋转图像及其边界框. 由于旋转后边界框变得更像“菱形”，即不对齐轴，所以我执行一些计算以使其轴对齐。这段代码的目的是通过使用旋转数据（水平或垂直翻转很常见）在训练对象检测神经网络时执行数据增强。似乎其他角度的翻转对于图像分类很常见，没有边界框，但是当有框时，如何翻转框以及图像的资源相对稀疏/小众。

似乎当我输入一个 45 度的角度时，我得到了一些不太“紧”的边界框，因为四个角不是一个很好的注释，而原始的一个接近完美。

下图是 MS COCO 2014 对象检测数据集（训练图像）中的第一张图像，以及它的第一个边界框标注。我的代码如下：

import math
import cv2
import numpy as np

# angle assumed to be in degrees
# bbs a list of bounding boxes in x_min, y_min, x_max, y_max format
def rotateImageAndBoundingBoxes(im, bbs, angle):
    h, w = im.shape[0], im.shape[1]
    (cX, cY) = (w//2, h//2) # original image center
    M = cv2.getRotationMatrix2D((cX, cY), angle, 1.0) # 2 by 3 rotation matrix
    cos = np.abs(M[0, 0])
    sin = np.abs(M[0, 1])
    
    # compute the dimensions of the rotated image
    nW = int((h * sin) + (w * cos))
    nH = int((h * cos) + (w * sin))
    
    # adjust the rotation matrix to take into account translation of the new centre
    M[0, 2] += (nW / 2) - cX
    M[1, 2] += (nH / 2) - cY
    rotated_im = cv2.warpAffine(im, M, (nW, nH))

    rotated_bbs = []
    for bb in bbs:
        # get the four rotated corners of the bounding box
        vec1 = np.matmul(M, np.array([bb[0], bb[1], 1], dtype=np.float64)) # top left corner transformed
        vec2 = np.matmul(M, np.array([bb[2], bb[1], 1], dtype=np.float64)) # top right corner transformed
        vec3 = np.matmul(M, np.array([bb[0], bb[3], 1], dtype=np.float64)) # bottom left corner transformed
        vec4 = np.matmul(M, np.array([bb[2], bb[3], 1], dtype=np.float64)) # bottom right corner transformed
        x_vals = [vec1[0], vec2[0], vec3[0], vec4[0]]
        y_vals = [vec1[1], vec2[1], vec3[1], vec4[1]]
        x_min = math.ceil(np.min(x_vals))
        x_max = math.floor(np.max(x_vals))
        y_min = math.ceil(np.min(y_vals))
        y_max = math.floor(np.max(y_vals))
        bb = [x_min, y_min, x_max, y_max]
        rotated_bbs.append(bb)
    
    // my function to resize image and bbs to the original image size
    rotated_im, rotated_bbs = resizeImageAndBoxes(rotated_im, w, h, rotated_bbs) 
    
    return rotated_im, rotated_bbs

好的边界框看起来像： 在此处输入图像描述

不太好的边界框看起来像：

在此处输入图像描述

我正在尝试确定这是我的代码错误，还是这是预期的行为？似乎这个问题在 pi/2 弧度（90 度）的整数倍处不太明显，但我想在任何旋转角度实现紧密的边界框。任何见解都值得赞赏。

来源：[打开 CV2 文档] https://docs.opencv.org/3.4/da/d54/group__imgproc__transform.html#gafbbc470ce83812914a70abfb604f4326

[数据增强讨论] https://blog.paperspace.com/data-augmentation-for-object-detection-rotation-and-shearing/

[围绕二维任意点旋转的数学] https://math.stackexchange.com/questions/2093314/rotation-matrix-of-rotation-around-a-point-other-than-the-origin

4

1 回答 1

0

根据评论，在大多数情况下，这似乎是预期的行为。对于这个问题，我确实有一种 hacky 解决方案，您可以在其中编写一个类似的函数

# assuming box coords = [x_min, y_min, x_max, y_max]
def cropBoxByPercentage(box_coords, image_width, image_height, x_percentage=0.05, y_percentage=0.05):
    box_xmin = box_coords[0]
    box_ymin = box_coords[1]
    box_xmax = box_coords[2]
    box_ymax = box_coords[3]
    box_width = box_xmax-box_xmin+1
    box_height = box_ymax-box_ymin+1
    dx = int(x_percentage * box_width)
    dy = int(y_percentage * box_height)
    box_xmin = max(0, box_xmin-dx)
    box_xmax = min(image_width-1, box_xmax+dx)
    box_ymin = max(0, box_ymax - dy)
    box_ymax = min(image_height - 1, box_ymax + dy)
    return np.array([box_xmin, box_xmax, box_ymin, box_ymax])

其中计算 x_percentage 和 y_percentage 可以使用固定值计算，或者可以使用一些启发式计算。

于 2021-01-16T04:30:58.333 回答