1

我有非常大的火车，所以 Matlab。而且我需要进行大规模的培训。

是否可以将训练集分成几部分并迭代训练网络并在每次迭代时更新“网络”而不是覆盖它？

下面的代码显示了这个想法，它不会工作。在每次迭代中，它根据唯一的训练数据集更新网络。

TF1 = 'tansig';TF2 = 'tansig'; TF3 = 'tansig';% layers of the transfer function , TF3 transfer function for the output layers

net = newff(trainSamples.P,trainSamples.T,[NodeNum1,NodeNum2,NodeOutput],{TF1 TF2 TF3},'traingdx');% Network created

net.trainfcn = 'traingdm' ; %'traingdm';
net.trainParam.epochs   = 1000;
net.trainParam.min_grad = 0;
net.trainParam.max_fail = 2000; %large value for infinity

while(1) // iteratively takes 10 data point at a time.
 p %=> get updated with following 10 new data points
 t %=> get updated with following 10 new data points

 [net,tr]             = train(net, p, t,[], []);

end
4

2 回答 2

2

我还没有机会看一下adapt函数，但我怀疑它正在更新而不是覆盖。要验证此语句，您可能需要选择第一个数据块的子集作为训练中的第二个块。如果它被覆盖，当您使用带有子集的训练网络来测试您的第一个数据块时，它应该很难预测那些不属于子集的数据。

我用一个非常简单的程序对其进行了测试：训练曲线y=x^2。在第一次训练过程中，我学习了数据集[1,3,5,7,9]：

   m=6;
   P=[1 3 5 7 9];
   T=P.^2;
   [Pn,minP,maxP,Tn,minT,maxT] = premnmx(P,T);
   clear net
   net.IW{1,1}=zeros(m,1);
   net.LW{2,1}=zeros(1,m);
   net.b{1,1}=zeros(m,1);
   net.b{2,1}=zeros(1,1);
   net=newff(minmax(Pn),[m,1],{'logsig','purelin'},'trainlm');
   net.trainParam.show =100;
   net.trainParam.lr = 0.09;
   net.trainParam.epochs =1000;
   net.trainParam.goal = 1e-3; 
   [net,tr]=train(net,Pn,Tn);
   Tn_predicted= sim(net,Pn)
   Tn

结果（请注意，输出使用相同的参考进行缩放。如果您正在执行标准归一化，请确保始终将第一个训练集中的平均值和标准值应用于所有其余部分）：

Tn_predicted =

   -1.0000   -0.8000   -0.4000    0.1995    1.0000


Tn =

   -1.0000   -0.8000   -0.4000    0.2000    1.0000

现在我们正在使用训练数据实施第二个训练过程[1,9]：

   Pt=[1 9];
   Tt=Pt.^2;
   n=length(Pt);
   Ptn = tramnmx(Pt,minP,maxP);
   Ttn = tramnmx(Tt,minT,maxT);


   [net,tr]=train(net,Ptn,Ttn);
   Tn_predicted= sim(net,Pn)
   Tn

结果：

Tn_predicted =

   -1.0000   -0.8000   -0.4000    0.1995    1.0000


Tn =

   -1.0000   -0.8000   -0.4000    0.2000    1.0000

请注意，数据x=[3,5,7];仍然是精确预测的。

但是，如果我们只x=[1,9];从一开始就训练：

   clear net
   net.IW{1,1}=zeros(m,1);
   net.LW{2,1}=zeros(1,m);
   net.b{1,1}=zeros(m,1);
   net.b{2,1}=zeros(1,1);
   net=newff(minmax(Ptn),[m,1],{'logsig','purelin'},'trainlm');
   net.trainParam.show =100;
   net.trainParam.lr = 0.09;
   net.trainParam.epochs =1000;
   net.trainParam.goal = 1e-3; 
   [net,tr]=train(net,Ptn,Ttn);
   Tn_predicted= sim(net,Pn)
   Tn

观察结果：

Tn_predicted =

   -1.0071   -0.6413    0.5281    0.6467    0.9922


Tn =

   -1.0000   -0.8000   -0.4000    0.2000    1.0000

请注意，经过训练的网络在x=[3,5,7];

上面的测试表明训练是基于之前的网络而不是重新开始。性能变差的原因是每个数据块只实现一次（随机梯度下降而不是批量梯度下降），因此总误差曲线可能尚未收敛。假设你只有两个数据块，你可能需要在训练完块 2 后重新训练块 1，然后重新训练块 2，然后块 1，依此类推，直到满足某些条件。如果你有更多的块，你可能不需要担心第二个和第一个训练效果相比。无论更新的权重是否会影响它们的性能，在线学习都会丢弃以前的数据集。

于 2014-01-18T04:59:25.120 回答
1

下面是如何在 matlab 中迭代训练 NN（小批量）的示例：

只需创建一个玩具数据集

[ x,t] = building_dataset;

小批量大小和数量

M = 420 
imax = 10;

让我们检查一下直接训练与小批量训练

net = feedforwardnet(70,'trainscg');
dnet = feedforwardnet(70,'trainscg');

此处的标准培训： 1 次使用全部数据的单次调用

dnet.trainParam.epochs=100;
[ dnet tr y ] = train( dnet, x, t ,'useGPU','only','showResources','no');

测量误差：MEA，易于测量 MSE 或任何其他你想要的

dperf = mean(mean(abs(t-dnet(x))))

这是迭代部分：每次调用 1 个 epoch

net.trainParam.epochs=1;
e=1;

直到我们达到之前的方法错误，用于历元比较

while perf(end)>dperf

在每个时期随机化数据非常重要！

    idx = randperm(size(x,2));

使用所有数据块进行迭代训练

    for i=1:imax
        k = idx(1+M*(i-1) : M*i);
        [ net tr ] = train( net, x( : , k ), t( : , k ) );
    end

计算每个时期的性能

    perf(e) = mean(mean(abs(t-net(x))))
    e=e+1;
end

检查性能，我们想要一个很好的准平滑和像 exp(-x) 的曲线

plot(perf)
于 2016-03-30T15:01:54.853 回答