1

我实际上想使用线性模型来拟合一组“罪”数据，但事实证明，损失函数在每次迭代期间都会变大。我下面的代码有问题吗？（梯度下降法）

这是我在 Matlab 中的代码

m=20;
rate = 0.1;
x = linspace(0,2*pi,20);
x = [ones(1,length(x));x]
y = sin(x);
w = rand(1,2);
for i=1:500
    h = w*x;
    loss = sum((h-y).^2)/m/2 
    total_loss = [total_loss loss];
    **gradient = (h-y)*x'./m ;**
    w = w - rate.*gradient;
end

这是我想要拟合的数据 y=sin(x)

4

1 回答 1

1

你的代码没有问题。以你目前的框架，如果你能以 的形式定义数据y = m*x + b，那么这段代码就绰绰有余了。实际上，我通过一些测试对其进行了测试，在这些测试中我定义了线的方程并向其添加了一些高斯随机噪声（幅度 = 0.1，平均值 = 0，标准偏差 = 1）。

但是，我要向您提及的一个问题是，如果您查看您的正弦数据，您会定义一个介于[0,2*pi]. 如您所见，您有多个x值映射到相同的y值但大小不同。例如，在x = pi/2我们得到 1 但在x = -3*pi/2我们得到 -1。这种高可变性对线性回归来说不是好兆头，所以我的一个建议是限制你的域......所以像[0, pi]. 它可能不收敛的另一个原因是您选择的学习率太高。我会把它设置为像0.01. 正如您在评论中提到的那样，您已经弄清楚了！

但是，如果您想使用线性回归拟合非线性数据，则必须包含高阶项以解释可变性。因此，尝试包括二阶和/或三阶术语。这可以通过x像这样修改矩阵来完成：

x = [ones(1,length(x)); x; x.^2; x.^3];

回想一下，假设函数可以表示为线性项的总和：

h(x) = theta0 + theta1*x1 + theta2*x2 + ... + thetan*xn

在我们的例子中，每theta一项都会建立我们多项式的高阶项。 x2将是x^2并且x3将是x^3。因此，我们这里仍然可以使用梯度下降的定义进行线性回归。

我还将控制随机生成种子（通过rng），以便您可以产生与我得到的相同的结果：

clear all; 
close all;
rng(123123);
total_loss = [];
m = 20;
x = linspace(0,pi,m); %// Change
y = sin(x);
w = rand(1,4); %// Change
rate = 0.01; %// Change
x = [ones(1,length(x)); x; x.^2; x.^3]; %// Change - Second and third order terms
for i=1:500
    h = w*x;
    loss = sum((h-y).^2)/m/2;
    total_loss = [total_loss loss];
    % gradient is now in a different expression
    gradient = (h-y)*x'./m ; % sum all in each iteration, it's a batch gradient
    w = w - rate.*gradient;
end

如果我们尝试这个，我们会得到w（你的参数）：

>> format long g;
>> w


w =

  Columns 1 through 3

         0.128369521905694         0.819533906064327       -0.0944622478526915

  Column 4

       -0.0596638117151464

在此之后我的最终损失是：

loss =

       0.00154350916582836

这意味着我们的直线方程是：

y = 0.12 + 0.819x - 0.094x^2 - 0.059x^3

如果我们用你的正弦数据绘制这条线的方程，这就是我们得到的：

xval = x(2,:);
plot(xval, y, xval, polyval(fliplr(w), xval))
legend('Original', 'Fitted');

在此处输入图像描述

于 2015-03-09T15:17:16.003 回答