algorithm - MATLAB 代码不起作用（梯度下降算法）

Question

我正在尝试梯度下降，我写了以下但没有得到任何答案，

n=0;            %initialize iteration counter 
eps=1;          %initialize error 
a=0.8;         %set iteration parameter 
x=[1;1];        %set starting value
f=6*x(1)^2+8*x(2)^2-3*x(1)*x(2);
%Computation loop 
while eps>1e-12||n<100 
   gradf=[12*x(1)-3*x(2); 16*x(2)-3*x(1)];  %gradf(x) 
   eps=(norm(gradf)/(1+abs(f)));                                %error 
   y=x-a*gradf;                                                 %iterate 
   x=y;                                                         %update x 
   n=n+1;                                                       %counter+1 
end 
n;x;eps;        %display end values

当我将此文件添加到路径并键入 x 时，它显示 NaN，NaN。怎么了？

Answer 1

您的代码中有几个错误。考虑一下（我在需要更正的地方发表评论）

 n=0;            
 eps=1;         
 a=0.1;                    %You need a way smaller parameter to converge!
 x=[1;1];       

 A = [6 -3/2 ; -3/2 8];     %You have a bilinear positive definite form,
                            %you may use matrix form for convenience


while eps>1e-12 && n<100    %You had wrong termination conditions!!
    gradf=2*A*x;            %(gradf in terms of matrix)
    f=x'*A*x;               %you need to update f every iteration!!
    eps=(norm(gradf)/(1+abs(f)))                              
    disp(eps > 1e-12)
    x=x-a*gradf;                                               

       %Now you can see the orbit  towards minimum                                     
    plot(x(1),x(2),'o'); hold on        
    n=n+1;                                                        
end 
n
x
eps        

例如a=.1我得到的当前值

n = 100
eps = 1.2308e-011

x = 
  1.0e-012 *

  -0.2509
  0.4688

那就是我必须执行 100 次迭代，因为我的 epsilon 仍然高于阈值。如果我允许 200 次迭代，我会得到

n =  110
eps = 
   7.9705e-013

x = 
1.0e-013 *
  -0.1625
   0.3036

即110 次迭代就足够了。

---

一般情况f（即不是二次形式）。

例如，您可以使用函数句柄，即您定义（在 之前while）

foo = @(x) 6*x(1)^2+8*x(2)^2-3*x(1)*x(2);
foo_x = @(x) 12*x(1)-3*x(2); 
foo_y = @(x) 16*x(2)-3*x(1);

然后，在while你替代

gradf = [foo_x(x);foo_y(x)];
f = foo(x);

---

PS 对于与while循环有关的问题，请记住，当您对精度不满意时（eps>1e-12）并且您的总迭代次数低于给定阈值（n<100）时，您会继续迭代。

还要考虑您在有限精度下工作：数值算法永远无法达到解析解（即您拥有无限精度和无限迭代的结果），因此，您始终必须设置阈值( eps，它应该高于机器精度\approx 1e-16) 那就是你的0.