8

我正在尝试制作一个计算机视觉程序,它可以在海滩等嘈杂的背景中检测垃圾和随机垃圾(由于沙子而嘈杂)。

原图:

在此处输入图像描述

无需任何图像处理的 Canny 边缘检测:

在此处输入图像描述

我意识到图像处理技术的某种组合将帮助我完成我的目标,即忽略嘈杂的沙地背景并检测地面上的所有垃圾和物体。

我试图进行中值模糊,调整参数,它给了我这个:

在此处输入图像描述

它在忽略沙地背景方面表现良好,但它无法检测到地面上的其他许多物体,可能是因为它被模糊了(不太确定)。

有什么方法可以改进我的算法或图像处理技术,从而忽略嘈杂的沙地背景,同时允许精巧的边缘检测找到所有对象并让程序检测并在所有对象上绘制轮廓。

代码:

from pyimagesearch.transform import four_point_transform
from matplotlib import pyplot as plt
import numpy as np
import cv2
import imutils

im = cv2.imread('images/beach_trash_3.jpg')


#cv2.imshow('Original', im)

# Histogram equalization to improve contrast




###
#im = np.fliplr(im)

im = imutils.resize(im, height = 500)

imgray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)

# Contour detection
#ret,thresh = cv2.threshold(imgray,127,255,0)

#imgray = cv2.GaussianBlur(imgray, (5, 5), 200)
imgray = cv2.medianBlur(imgray, 11)

cv2.imshow('Blurred', imgray)

'''
hist,bins = np.histogram(imgray.flatten(),256,[0,256])
plt_one = plt.figure(1)
cdf = hist.cumsum()
cdf_normalized = cdf * hist.max()/ cdf.max()

cdf_m = np.ma.masked_equal(cdf,0)
cdf_m = (cdf_m - cdf_m.min())*255/(cdf_m.max()-cdf_m.min())
cdf = np.ma.filled(cdf_m,0).astype('uint8')
imgray = cdf[imgray]

cv2.imshow('Histogram Normalization', imgray)
'''
'''
imgray = cv2.adaptiveThreshold(imgray,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,\
            cv2.THRESH_BINARY,11,2)
'''

thresh = imgray

#imgray = cv2.medianBlur(imgray,5)
#imgray = cv2.Canny(imgray,10,500)
thresh = cv2.Canny(imgray,75,200)
#thresh = imgray
cv2.imshow('Canny', thresh)


contours, hierarchy = cv2.findContours(thresh.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)

cnts = sorted(contours, key = cv2.contourArea, reverse = True)[:5]

test = im.copy()
cv2.drawContours(test, cnts, -1,(0,255,0),2)
cv2.imshow('All contours', test)

print '---------------------------------------------'
#####  Code to show each contour #####
main = np.array([[]])
for c in cnts:
    epsilon = 0.02*cv2.arcLength(c,True)
    approx = cv2.approxPolyDP(c,epsilon,True)

    test = im.copy()
    cv2.drawContours(test, [approx], -1,(0,255,0),2)
    #print 'Contours: ', contours
    if len(approx) == 4:
        print 'Found rectangle'
        print 'Approx.shape: ', approx.shape
        print 'Test.shape: ', test.shape

        # frame_f = frame_f[y: y+h, x: x+w]
        frame_f = test[approx[0,0,1]:approx[2,0,1], approx[0,0,0]:approx[2,0,0]]

        print 'frame_f.shape: ', frame_f.shape
        main = np.append(main, approx[None,:][None,:])
        print 'main: ', main


    # Uncomment in order to show all rectangles in image
    #cv2.imshow('Show Ya', test)


    #print 'Approx: ', approx.shape
    #cv2.imshow('Show Ya', frame_f)
    cv2.waitKey()
print '---------------------------------------------'
cv2.drawContours(im, cnts, -1,(0,255,0),2)
print main.shape
print main
cv2.imshow('contour-test', im)
cv2.waitKey()
4

3 回答 3

3

我对您的问题的理解是:您想从本质上可变的背景中分割出前景对象(沙灰色水平取决于许多其他条件)。

有多种方法可以解决此类问题:

方法一:

从您的图像中可以清楚地看出,背景颜色像素的数量总是比前景像素多得多,开始初始分割的最简单方法是:

  1. 将图像转换为灰色。
  2. 创建它的直方图。
  3. 找到直方图的峰值索引,即具有最大像素的索引。

以上三个步骤让你了解背景游戏并没有到此结束,现在你可以把这个指数值放在中心,并在它周围取一个范围内的值,比如上下 25,例如:如果你的峰值指数是 207 (如您的情况)选择从75到225的灰度范围和阈值图像,根据您的背景性质,上述方法可用于前景物体检测,分割后您必须执行一些后处理步骤,如形态分析要在提取对象后分割出不同的对象,您可以应用一些分类内容进行更精细的分割以消除误报。

方法二:

玩一些图像像素的统计数据,比如制作一个小的灰度值数据集和

  1. 将它们标记为 1 类和 2 类,例如 1 用于沙子,2 用于前景,
  2. 从两个类中找出像素的均值和方差(标准偏差),并计算两个类的概率(num_pix_per_class/total_num_pix),现在存储这些统计信息以供以后使用,
  3. 现在回到图像并逐个获取每个像素并应用高斯 pdf:1/2*pi sigma (exp(-(pix - mean)/2*sigma)); 在平均值的位置放置较早计算的平均值,在 sigma 放置较早计算的标准偏差。
  4. 应用第 3 阶段后,您将获得两个类别的每个像素的两个概率值,只需选择概率较高的类别即可。

方法3:

方法 3 比上述两种更复杂:您可以使用一些基于纹理的操作来分割沙子类型的纹理,但对于应用基于纹理的方法,我会推荐监督分类而不是无监督分类(如 k-means)。您可以使用的不同纹理特征是:

基本的:

  1. 定义邻域内的灰度范围。
  2. 局部均值和方差或熵。
  3. 灰度共现矩阵 (GLCM)。

先进的:

  1. 本地二进制模式。
  2. 小波变换。
  3. 盖博变换。等等

PS:我认为你应该尝试接近1和2。它可以解决很多工作。:)

于 2015-09-08T08:06:02.417 回答
2

为了获得更好的结果,您应该应用许多算法。OpenCV 教程始终关注 OpenCV 的一个特性。真正的 CV 应用程序应该使用尽可能多的技术和算法。

我曾经在嘈杂的图片中检测生物细胞,并且应用一些上下文信息获得了非常好的结果:

  • 预期的单元格大小
  • 所有细胞具有相似大小的事实
  • 预期的单元格数量因此我更改了许多参数并尝试检测我正在寻找的内容。

如果使用边缘检测,沙子会给出相当随机的形状。尝试更改 canny 参数并检测线、矩形、圆等。- 更可能是垃圾的任何形状。记住每个参数集的检测对象的位置,并优先考虑那些最常检测到形状的位置(区域)。

使用分色。颜色直方图中的峰值可能是对垫料的暗示,因为沙子颜色的分布应该更均匀。

对于一些经常出现的小物体,如烟头,您可以应用对象匹配

PS:很酷的应用程序!只是出于好奇,你打算用四轴飞行器扫描海滩吗?

于 2015-09-07T07:14:31.313 回答
0

如果你想在这样均匀的背景上检测物体,你应该从检测图像中的主要颜色开始。像这样,您将检测到所有沙子,而物体将位于其余部分。你可以看看 Arnaud LeTrotter 和 Ludovic Llucia 发表的论文,他们都使用了这种类型的“主色检测”。

于 2015-09-07T07:42:01.767 回答