math - 什么是梯度方向和梯度幅度？

Question

我目前正在研究计算机视觉中的一个模块，称为边缘检测。我试图理解梯度方向和梯度幅度的含义。

Answer 1

正如Dima在他的回答中所解释的那样，您应该熟悉梯度的数学概念，以便更好地理解图像处理领域的梯度。

我的回答是基于mevatron对这个问题的回答。

在这里，您可以找到黑色背景上的白色磁盘的简单初始图像：

您可以计算此图像的梯度的近似值。正如 Dima 在他的回答中解释的那样，渐变有两个分量，一个水平分量和一个垂直分量。

下图显示了水平分量：

它显示了图像中灰度级在水平方向上的变化程度（它是正x的方向，从左到右扫描图像），这种变化被“编码”在水平分量图像的灰度级中：平均灰度级表示没有变化，亮级表示从暗值变为亮值，暗级表示从亮值变为暗值。因此，在上图中，您会在圆圈的左侧看到较亮的值，因为在初始图像的左侧，您有黑白过渡，为您提供了磁盘的左边缘；相似地，在上图中，您会在圆圈的右侧看到较暗的值，因为在初始图像的右侧，您有白色到黑色的过渡，为您提供了磁盘的右边缘。在上图中，磁盘内部和背景处于平均灰度级，因为磁盘内部和背景没有变化。

我们可以对垂直分量进行类似的观察，它显示了图像在垂直方向上的变化，即从上到下扫描图像：

您现在可以组合这两个组件以获得渐变的大小和渐变的方向。

下图是梯度的大小：

同样，在上面的图像中，初始图像的变化以灰度级编码：在这里您看到白色表示初始图像的高度变化，而黑色表示根本没有变化。因此，当您查看渐变幅度的图像时，您可以说“如果图像很亮，则意味着初始图像的变化很大；如果图像很暗，则意味着没有变化或变化很小”。

下图是渐变的方向：

在上图中，方向再次被编码为灰度：您可以将方向视为从图像的暗部分指向图像的亮部分的箭头的角度；角度是指 xy 框架，其中 x 从左到右，而 y 从上到下。在上图中，您可以看到从黑色（零度）到白色（360 度）的所有灰度级。我们可以用颜色对信息进行编码：

在上图中，信息以这种方式编码：

红色：角度在 0 到 90 度之间

青色：角度在 90 到 180 度之间

绿色：角度在 180 到 270 度之间

黄色：角度在 270 到 360 度之间

这是用于生成上述图像的 C++ OpenCV 代码。

请注意，对于方向的计算，我使用函数cv::phase，如文档中所述，当梯度的垂直分量和水平分量都为零时，角度为 0；这可能很方便，但从数学的角度来看显然是错误的，因为当两个分量都为零时，方向没有定义，并且浮点 C++ 类型中唯一有意义的方向值是 a NaN。

这显然是错误的，因为例如，0 度方向已经与水平边缘相关，并且不能用于表示其他东西，例如没有边缘的区域以及方向无意义的区域。

// original code by https://stackoverflow.com/users/951860/mevatron
// see https://stackoverflow.com/a/11157426/15485
// https://stackoverflow.com/users/15485/uvts-cvs added the code for saving x and y gradient component 

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>

#include <iostream>
#include <vector>

using namespace cv;
using namespace std;

Mat mat2gray(const cv::Mat& src)
{
    Mat dst;
    normalize(src, dst, 0.0, 255.0, cv::NORM_MINMAX, CV_8U);

    return dst;
}

Mat orientationMap(const cv::Mat& mag, const cv::Mat& ori, double thresh = 1.0)
{
    Mat oriMap = Mat::zeros(ori.size(), CV_8UC3);
    Vec3b red(0, 0, 255);
    Vec3b cyan(255, 255, 0);
    Vec3b green(0, 255, 0);
    Vec3b yellow(0, 255, 255);
    for(int i = 0; i < mag.rows*mag.cols; i++)
    {
        float* magPixel = reinterpret_cast<float*>(mag.data + i*sizeof(float));
        if(*magPixel > thresh)
        {
            float* oriPixel = reinterpret_cast<float*>(ori.data + i*sizeof(float));
            Vec3b* mapPixel = reinterpret_cast<Vec3b*>(oriMap.data + i*3*sizeof(char));
            if(*oriPixel < 90.0)
                *mapPixel = red;
            else if(*oriPixel >= 90.0 && *oriPixel < 180.0)
                *mapPixel = cyan;
            else if(*oriPixel >= 180.0 && *oriPixel < 270.0)
                *mapPixel = green;
            else if(*oriPixel >= 270.0 && *oriPixel < 360.0)
                *mapPixel = yellow;
        }
    }

    return oriMap;
}

int main(int argc, char* argv[])
{
    Mat image = Mat::zeros(Size(320, 240), CV_8UC1);
    circle(image, Point(160, 120), 80, Scalar(255, 255, 255), -1, CV_AA);

    imshow("original", image);

    Mat Sx;
    Sobel(image, Sx, CV_32F, 1, 0, 3);

    Mat Sy;
    Sobel(image, Sy, CV_32F, 0, 1, 3);

    Mat mag, ori;
    magnitude(Sx, Sy, mag);
    phase(Sx, Sy, ori, true);

    Mat oriMap = orientationMap(mag, ori, 1.0);

    imshow("x", mat2gray(Sx));
    imshow("y", mat2gray(Sy));

    imwrite("hor.png",mat2gray(Sx));
    imwrite("ver.png",mat2gray(Sy));

    imshow("magnitude", mat2gray(mag));
    imshow("orientation", mat2gray(ori));
    imshow("orientation map", oriMap);
    waitKey();

    return 0;
}

Answer 2

两个变量 x, y 的函数的梯度是 x 和 y 方向的偏导数的向量。所以如果你的函数是 f(x,y)，那么梯度就是向量 (f_x, f_y)。图像是 (x,y) 的离散函数，因此您也可以谈论图像的梯度。

图像的梯度有两个分量：x 导数和 y 导数。因此，您可以将其视为在每个像素处定义的向量 (f_x, f_y)。这些向量具有方向 atan(f_y / fx) 和幅度 sqrt(f_x^2 + f_y^2)。因此，您可以将图像的梯度表示为 x 导数图像和 y 导数图像，或者表示为方向图像和幅度图像。