7

我正在尝试使用 OpenCV 重建我之前在 Gimp 中完成的一些预处理。第一阶段是用于边缘检测的 Sobel 滤波器。它在 Gimp 中运行良好：

在此处输入图像描述

现在这是我对 OpenCV 的尝试：

opencv_imgproc.Sobel(/* src = */ scaled, /* dst = */ sobel,
  /* ddepth = */ opencv_core.CV_32F,
  /* dx = */ 1, /* dy = */ 1, /* ksize = */ 5, /* scale = */ 0.25,
  /* delta = */ 0.0, /* borderType = */ opencv_core.BORDER_REPLICATE)

它看起来很糟糕，基本上是突出点而不是轮廓：

在此处输入图像描述

那么我做错了什么，或者 Gimp 是如何取得如此好的结果的，我如何在 OpenCV 中复制它？

4

2 回答 2

15

信息

图片来自https://www.pexels.com/photo/brown-wooden-flooring-hallway-176162/（“个人和商业用途免费”）。

解决方案 TL;DR

通过 Sobel 滤波器进行边缘检测需要两个单独的滤波器操作。它不能一步完成。两个独立步骤的结果必须结合起来形成边缘检测的最终结果。

信息：为简单起见，我使用浮动图像(CV_32F)。

代码中的解决方案：

// Load example image
std::string path = "C:\\Temp\\SobelTest\\Lobby2\\";
std::string filename = "pexels-photo-176162 scaled down.jpeg";
std::string fqn = path + filename;
cv::Mat img = cv::imread(fqn, CV_LOAD_IMAGE_COLOR); // Value range: 0 - 255

// Convert to float and adapt value range (for simplicity)
img.convertTo(img, CV_32F, 1.f/255); // Value range: 0.0 - 1.0

// Build data for 3x3 vertical Sobel kernel
float sobelKernelHorizontalData[3][3] = 
{
    {-1, 0, 1}, 
    {-2, 0, 2}, 
    {-1, 0, 1}
};
// Calculate normalization divisor/factor
float sobelKernelNormalizationDivisor = 4.f;
float sobelKernelNormalizationFactor = 1.f / sobelKernelNormalizationDivisor;

// Generate cv::Mat for vertical filter kernel
cv::Mat sobelKernelHorizontal = 
    cv::Mat(3,3, CV_32F, sobelKernelHorizontalData); // Value range of filter result (if it is used for filtering): 0 - 4*255 or 0.0 - 4.0
// Apply filter kernel normalization
sobelKernelHorizontal *= sobelKernelNormalizationFactor; // Value range of filter result (if it is used for filtering): 0 - 255 or 0.0 - 1.0

// Generate cv::Mat for horizontal filter kernel
cv::Mat sobelKernelVertical;
cv::transpose(sobelKernelHorizontal, sobelKernelVertical);

// Apply two distinct Sobel filtering steps
cv::Mat imgFilterResultVertical;
cv::Mat imgFilterResultHorizontal;
cv::filter2D(img, imgFilterResultVertical, CV_32F, sobelKernelVertical);
cv::filter2D(img, imgFilterResultHorizontal, CV_32F, sobelKernelHorizontal);

// Build overall filter result by combining the previous results
cv::Mat imgFilterResultMagnitude;
cv::magnitude(imgFilterResultVertical, imgFilterResultHorizontal, imgFilterResultMagnitude);

// Write images to HDD. Important: convert back to uchar, otherwise we get black images
std::string filenameFilterResultVertical = path + "imgFilterResultVertical" + ".jpeg";
std::string filenameFilterResultHorizontal = path + "imgFilterResultHorizontal" + ".jpeg";
std::string filenameFilterResultMagnitude = path + "imgFilterResultMagnitude" + ".jpeg";
cv::Mat imgFilterResultVerticalUchar;
cv::Mat imgFilterResultHorizontalUchar;
cv::Mat imgFilterResultMagnitudeUchar;
imgFilterResultVertical.convertTo(imgFilterResultVerticalUchar, CV_8UC3, 255);
imgFilterResultHorizontal.convertTo(imgFilterResultHorizontalUchar, CV_8UC3, 255);
imgFilterResultMagnitude.convertTo(imgFilterResultMagnitudeUchar, CV_8UC3, 255);

cv::imwrite(filenameFilterResultVertical, imgFilterResultVerticalUchar);
cv::imwrite(filenameFilterResultHorizontal, imgFilterResultHorizontalUchar);
cv::imwrite(filenameFilterResultMagnitude, imgFilterResultMagnitudeUchar);

// Show images
cv::imshow("img", img);
cv::imshow("imgFilterResultVertical", imgFilterResultVertical);
cv::imshow("imgFilterResultHorizontal", imgFilterResultHorizontal);
cv::imshow("imgFilterResultMagnitude", imgFilterResultMagnitude);
cv::waitKey();

请注意，此代码等价于： 

 cv::Sobel(img, imgFilterResultVertical, CV_32F, 1, 0, 3, sobelKernelNormalizationFactor);
 cv::Sobel(img, imgFilterResultHorizontal, CV_32F, 0, 1, 3, sobelKernelNormalizationFactor);
 cv::magnitude(imgFilterResultVertical, imgFilterResultHorizontal, imgFilterResultMagnitude);

结果图像

源图像、垂直滤波结果、水平滤波结果、组合滤波结果（幅度）

源图像 垂直过滤结果 水平过滤结果 组合过滤结果（幅度）

OpenCV 的数据类型和值范围的简短信息

  • 使用浮动图像（图像类型CV_32F）通常非常有用，有时甚至更简单。但是，使用浮动图像也较慢，因为使用了 4 次数据（与 uchar 相比）。因此，如果您想要正确性和高性能，则必须仅使用 uchar 图像并始终将正确的除数（参数“alpha”）传递给 OpenCV 函数。但是，这更容易出错，并且您的值可能会在您甚至没有意识到的情况下溢出。
  • 8 位图像 (uchar, CV_8UC) 的取值范围为 0 - 255。32 位浮点图像 (CV_32F) 的取值范围为 0.0 - 1.0（大于 1.0 的值将显示为与 1.0 相同）。使用 32 位图像通常更容易，因为不太可能发生溢出（但是缩放不良，例如可能发生大于 1.0 的值）。

计算内核规范化除数

内核的归一化除数可以通过以下公式计算：

f = max(abs(sumNegative), abs(sumPositive))

其中 sumNegative 是内核中负值的总和，而 sumPositive 是内核中正值的总和。

警告：这不等于float normalizationDivisor = cv::sum(cv::abs(kernel))(0)，您必须为此编写自定义函数。

其他提示

  • 边缘检测取决于分辨率和边缘厚度。如果您要检测的边缘相当厚，您可以使用更大的 Sobel 滤波器内核大小（请参阅Sobel filter kernel of large size，但不要使用公认的答案。而是使用 Adam Bowen 的答案，这（很可能）是正确的答案）。当然，您也可以缩小图像并使用默认的 3x3 Sobel 过滤器来检测厚边缘。
  • 使用更大的过滤器内核会导致不同的归一化除数/因子。
  • Sobel 滤波器只是关于邻域距离的粗略近似。Scharr 滤波器代表了对 Sobel 滤波器的改进，因为它“提高了旋转不变性” [ http://johncostella.com/edgedetect/ ]
  • 要保存彩色浮动图像，您必须使用 convertTo 将它们转换（并缩放）回 uchar

彩色图像的边缘检测

在彩色图像上应用边缘检测过滤器通常没有意义。让图像显示哪个颜色通道（B、G、R）对边缘检测有多大贡献，并将该结果“编码”为彩色像素是一个非常具体且不常见的过程。当然，如果您的目标只是让图像看起来“酷”，那就继续吧。在这种情况下，大多数规则无论如何都不会适用。

2018-04-24 更新

在反复重新思考我多年来撰写的内容并使用图像过滤后，我不得不承认：彩色图像上的边缘检测非常有用有非常有效和重要的原因。

简而言之：如果图像中有在灰色图像中不可见的边缘，则需要对彩色图像进行边缘检测。显然，这将是（两个）不同颜色区域之间的边缘的情况，其中颜色相当可区分，而它们的灰度值将（大致）相同。这可能会以非直觉方式发生，因为作为人类，我们习惯于看到颜色。如果您的应用程序希望在此类用例中保持稳健，您应该更喜欢使用彩色而不是灰色图像进行边缘检测。

由于彩色图像上的滤波步骤会产生 3 通道边缘图像，因此必须将结果明智地转换为单个代表性边缘图像。

此转换步骤可以通过多种方式完成： - 简单平均 - 在手动计算图像的亮度（这将导致边缘图像已经非常接近人类感知） - 通过加权计算人类感知的各个颜色之间的对比度（可能有一些基于 LAB 的方法......） - 使用每个像素的最大值从 3 个频道 - 等等。

这取决于您想要实现的目标以及您想要投入多少工作。通常，平均或基于 RGB/BGR 的加权就足够了。

于 2016-11-13T14:52:54.243 回答
1

Sobel 通常用于 X 和 Y 方向，然后组合以产生每个像素的 2D 矢量。也就是说，它给出了 2D 中每个像素的渐变（如果您已经得到这个，请道歉，但它使我要说的更清楚）。

如何在单个像素中准确表示 2D 矢量是有待解释的。从这些图像中，看起来 OpenCV 比 Gimp 更突出水平线，而 Gimp 比 OpenCV 更突出垂直线。

鉴于您的图像是彩色的，因此在 RGB 中对该向量有一些解释。我会比较图像之间 RGB 空间中单个像素的值，以查看它们是如何建模的。您可能只需要移动组件。

于 2016-11-06T00:05:04.093 回答