15

我使用 MATLAB 神经网络工具箱训练了一个神经网络,特别是使用命令nprtool,它提供了一个简单的 GUI 来使用工具箱功能,并导出一个net包含有关生成的 NN 信息的对象。

通过这种方式,我创建了一个可以用作分类器的工作神经网络,表示它的图表如下:

表示神经网络的图表

有 200 个输入,第一个隐藏层中有 20 个神经元,最后一层有 2 个神经元提供二维输出。

我想要做的是在其他一些编程语言(C#、Java、...)中使用网络。

为了解决这个问题,我尝试在 MATLAB 中使用以下代码:

y1 = tansig(net.IW{1} * input + net.b{1});
Results = tansig(net.LW{2} * y1 + net.b{2});

假设这是一个包含 200 个元素的一维数组,如果是 20x200 矩阵(20 个神经元,200 个权重)input,前面的代码就可以工作。net.IW{1}

问题是我注意到它size(net.IW{1})返回了意外的值:

>> size(net.IW{1})

    ans =

    20   199

我在具有 10000 个输入的网络上遇到了同样的问题。在这种情况下,结果不是 20x10000,而是类似于 20x9384(我不记得确切的值)。

所以,问题是:如何获得每个神经元的权重?在那之后,有人可以解释我如何使用它们来产生相同的 MATLAB 输出吗?

4

5 回答 5

14

我解决了上述问题,我认为分享我所学到的东西很有用。

前提

首先,我们需要一些定义。让我们考虑下图,取自 [1]:

一种神经网络方案

在上图中,IW代表初始权重:它们代表第 1 层神经元的权重,每个神经元都与每个输入相连,如下图所示 [1]:

所有神经元都与所有输入相连

所有其他权重,称为层权重(第一个图中的LW),它们也与前一层的每个输出相连。在我们的研究案例中,我们使用只有两层的网络,因此我们将只使用一个 LW 阵列来解决我们的问题。

问题的解决方案

经过上面的介绍,我们可以将问题分为两步进行:

  • 强制初始权重的数量与输入数组长度匹配
  • 使用权重来实现和使用刚刚用其他编程语言训练的神经网络

A - 强制初始权重的数量与输入数组长度匹配

使用nprtool,我们可以训练我们的网络,并且在过程结束时,我们还可以在工作区中导出有关整个训练过程的一些信息。特别是,我们需要导出:

  • 表示创建的神经网络的 MATLAB 网络对象
  • 用于训练网络的输入数组
  • 用于训练网络的目标数组

此外,我们需要生成一个 M 文件,其中包含 MATLAB 用于创建神经网络的代码,因为我们需要修改它并更改一些训​​练选项。

下图显示了如何执行这些操作:

nprtool GUI 用于导出数据并生成 M 代码

生成的 M 代码将类似于以下代码:

function net = create_pr_net(inputs,targets)
%CREATE_PR_NET Creates and trains a pattern recognition neural network.
%
%  NET = CREATE_PR_NET(INPUTS,TARGETS) takes these arguments:
%    INPUTS - RxQ matrix of Q R-element input samples
%    TARGETS - SxQ matrix of Q S-element associated target samples, where
%      each column contains a single 1, with all other elements set to 0.
%  and returns these results:
%    NET - The trained neural network
%
%  For example, to solve the Iris dataset problem with this function:
%
%    load iris_dataset
%    net = create_pr_net(irisInputs,irisTargets);
%    irisOutputs = sim(net,irisInputs);
%
%  To reproduce the results you obtained in NPRTOOL:
%
%    net = create_pr_net(trainingSetInput,trainingSetOutput);

% Create Network
numHiddenNeurons = 20;  % Adjust as desired
net = newpr(inputs,targets,numHiddenNeurons);
net.divideParam.trainRatio = 75/100;  % Adjust as desired
net.divideParam.valRatio = 15/100;  % Adjust as desired
net.divideParam.testRatio = 10/100;  % Adjust as desired

% Train and Apply Network
[net,tr] = train(net,inputs,targets);
outputs = sim(net,inputs);

% Plot
plotperf(tr)
plotconfusion(targets,outputs)

在开始训练过程之前,我们需要删除MATLAB 对输入和输出执行的所有预处理和后处理函数。这可以通过在行之前添加以下行来完成% Train and Apply Network

net.inputs{1}.processFcns = {};
net.outputs{2}.processFcns = {};

在对函数进行这些更改之后create_pr_net(),我们可以简单地使用它来创建最终的神经网络:

net = create_pr_net(input, target);

其中inputtarget是我们通过 导出的值nprtool

这样,我们可以确定权重的数量等于输入数组的长度。此外,此过程对于简化向其他编程语言的移植很有用。

B - 实现和使用刚刚用其他编程语言训练的神经网络

通过这些更改,我们可以定义如下函数:

function [ Results ] = classify( net, input )
    y1 = tansig(net.IW{1} * input + net.b{1});

    Results = tansig(net.LW{2} * y1 + net.b{2});
end

在这段代码中,我们使用了上面提到的 IW 和 LW 数组,还有偏置b,在nprtool. 在这种情况下,我们不关心偏见的作用;简单地说,我们需要使用它们,因为nprtool它确实如此。

现在,我们可以使用classify()上面定义的函数,或者sim()同样使用函数,得到相同的结果,如下例所示:

>> sim(net, input(:, 1))

ans =

    0.9759
   -0.1867
   -0.1891

>> classify(net, input(:, 1))

ans =

   0.9759   
  -0.1867
  -0.1891

显然,该classify()函数可以被解释为伪代码,然后在任何可能定义 MATLABtansig()函数 [2] 和数组之间的基本操作的编程语言中实现。

参考

[1] Howard Demuth、Mark Beale、Martin Hagan:神经网络工具箱 6 - 用户指南,MATLAB

[2] Mathworks,tansig - 双曲正切 sigmoid 传递函数,MATLAB 文档中心

补充笔记

查看机器人的答案和Sangeun Chi 的答案以获取更多详细信息。

于 2013-03-21T01:24:12.590 回答
3

这是对伟大的 Vito Gentile 答案的一个小改进。

如果你想使用预处理和后处理' mapminmax '函数,你必须注意,因为Matlab中的'mapminmax'是按行而不是按列规范化的!

这是您需要添加到上层“分类”功能的内容,以保持一致的预处理/后处理:

[m n] = size(input);
ymax = 1;
ymin = -1;
for i=1:m
   xmax = max(input(i,:));
   xmin = min(input(i,:));
   for j=1:n
     input(i,j) = (ymax-ymin)*(input(i,j)-xmin)/(xmax-xmin) + ymin;
   end
end

这在函数的末尾:

ymax = 1;
ymin = 0;
xmax = 1;
xmin = -1;
Results = (ymax-ymin)*(Results-xmin)/(xmax-xmin) + ymin;

这是 Matlab 代码,但可以很容易地作为伪代码阅读。希望这会有所帮助!

于 2014-02-05T17:27:46.113 回答
3

感谢 VitoShadow 和机器人回答,我可以将 Matlab 神经网络值导出到其他应用程序。

我真的很感激他们,但我在他们的代码中发现了一些微不足道的错误,并想更正它们。

1) 在 VitoShadow 代码中,

Results = tansig(net.LW{2} * y1 + net.b{2});
-> Results = net.LW{2} * y1 + net.b{2};

2) 在机器人预处理代码中,从网络变量中提取 xmax 和 xmin 比计算它们更容易。

xmax = net.inputs{1}.processSettings{1}.xmax
xmin = net.inputs{1}.processSettings{1}.xmin

3)在机器人后处理代码中,

xmax = net.outputs{2}.processSettings{1}.xmax
xmin = net.outputs{2}.processSettings{1}.xmin

Results = (ymax-ymin)*(Results-xmin)/(xmax-xmin) + ymin;
-> Results = (Results-ymin)*(xmax-xmin)/(ymax-ymin) + xmin;

您可以手动检查并确认这些值,如下所示:

p2 = mapminmax('apply', net(:, 1), net.inputs{1}.processSettings{1})

-> 预处理数据

y1 = purelin ( net.LW{2} * tansig(net.iw{1}* p2 + net.b{1}) + net.b{2})

-> 神经网络处理数据

y2 = mapminmax( 'reverse' , y1, net.outputs{2}.processSettings{1})

-> 后处理数据

参考: http: //www.mathworks.com/matlabcentral/answers/14517-processing-of-ip-data

于 2014-04-27T03:34:10.093 回答
0

我尝试使用 OpenCV 在 C++ 中实现一个简单的 2 层 NN,然后将权重导出到运行良好的 Android。我写了一个小脚本,它生成一个带有学习权重的头文件,并在下面的代码中使用。

// Map Minimum and Maximum Input Processing Function
Mat mapminmax_apply(Mat x, Mat settings_gain, Mat settings_xoffset, double settings_ymin){

    Mat y;

    subtract(x, settings_xoffset, y);
    multiply(y, settings_gain, y);
    add(y, settings_ymin, y);

    return y;


    /* MATLAB CODE
     y = x - settings_xoffset;
     y = y .* settings_gain;
     y = y + settings_ymin;
     */
}




// Sigmoid Symmetric Transfer Function
Mat transig_apply(Mat n){
    Mat tempexp;
    exp(-2*n, tempexp);
    Mat transig_apply_result = 2 /(1 + tempexp) - 1;
    return transig_apply_result;
}


// Map Minimum and Maximum Output Reverse-Processing Function
Mat mapminmax_reverse(Mat y, Mat settings_gain, Mat settings_xoffset, double settings_ymin){

    Mat x;

    subtract(y, settings_ymin, x);
    divide(x, settings_gain, x);
    add(x, settings_xoffset, x);

    return x;


/* MATLAB CODE
function x = mapminmax_reverse(y,settings_gain,settings_xoffset,settings_ymin)
x = y - settings_ymin;
x = x ./ settings_gain;
x = x + settings_xoffset;
end
*/

}


Mat getNNParameter (Mat x1)
{

    // convert double array to MAT

    // input 1
    Mat x1_step1_xoffsetM = Mat(1, 48, CV_64FC1, x1_step1_xoffset).t();
    Mat x1_step1_gainM = Mat(1, 48, CV_64FC1, x1_step1_gain).t();
    double x1_step1_ymin = -1;

    // Layer 1
    Mat b1M = Mat(1, 25, CV_64FC1, b1).t();
    Mat IW1_1M = Mat(48, 25, CV_64FC1, IW1_1).t();

    // Layer 2
    Mat b2M = Mat(1, 48, CV_64FC1, b2).t();
    Mat LW2_1M = Mat(25, 48, CV_64FC1, LW2_1).t();

    // input 1
    Mat y1_step1_gainM = Mat(1, 48, CV_64FC1, y1_step1_gain).t();
    Mat y1_step1_xoffsetM = Mat(1, 48, CV_64FC1, y1_step1_xoffset).t();
    double y1_step1_ymin = -1;



    // ===== SIMULATION ========


    // Input 1
    Mat xp1 = mapminmax_apply(x1, x1_step1_gainM, x1_step1_xoffsetM, x1_step1_ymin);

    Mat  temp = b1M + IW1_1M*xp1;

    // Layer 1
    Mat a1M = transig_apply(temp);

    // Layer 2
    Mat a2M = b2M + LW2_1M*a1M;

    // Output 1
    Mat y1M = mapminmax_reverse(a2M, y1_step1_gainM, y1_step1_xoffsetM, y1_step1_ymin);

    return y1M;
}

标题中的偏差示例可能是这样的:

static double b2[1][48] = {
        {-0.19879, 0.78254, -0.87674, -0.5827, -0.017464, 0.13143, -0.74361, 0.4645, 0.25262, 0.54249, -0.22292, -0.35605, -0.42747, 0.044744, -0.14827, -0.27354, 0.77793, -0.4511, 0.059346, 0.29589, -0.65137, -0.51788, 0.38366, -0.030243, -0.57632, 0.76785, -0.36374, 0.19446, 0.10383, -0.57989, -0.82931, 0.15301, -0.89212, -0.17296, -0.16356, 0.18946, -1.0032, 0.48846, -0.78148, 0.66608, 0.14946, 0.1972, -0.93501, 0.42523, -0.37773, -0.068266, -0.27003, 0.1196}};

现在,谷歌发布了 Tensorflow,这已经过时了。

于 2016-12-06T07:28:08.843 回答
0

因此解决方案变为(纠正所有部分后)

这里我在 Matlab 中给出了一个解决方案,但是如果你有 tanh() 函数,你可以很容易地将它转换为任何编程语言。它仅用于显示网络对象中的字段和您需要的操作。

  • 假设您有一个训练有素的 ann(网络对象)要导出
  • 假设训练出来的ann的名字是trained_ann

这是用于导出和测试的脚本。测试脚本将原始网络结果与 my_ann_evaluation() 结果进行比较

% Export IT
exported_ann_structure = my_ann_exporter(trained_ann);

% Run and Compare 
% Works only for single INPUT vector
% Please extend it to MATRIX version by yourself
input = [12 3 5 100];
res1 = trained_ann(input')';
res2 = my_ann_evaluation(exported_ann_structure, input')';

您需要以下两个功能的地方

首先 my_ann_exporter

function [ my_ann_structure ] = my_ann_exporter(trained_netw)
% Just for extracting as Structure object
my_ann_structure.input_ymax = trained_netw.inputs{1}.processSettings{1}.ymax;
my_ann_structure.input_ymin = trained_netw.inputs{1}.processSettings{1}.ymin;
my_ann_structure.input_xmax = trained_netw.inputs{1}.processSettings{1}.xmax;
my_ann_structure.input_xmin = trained_netw.inputs{1}.processSettings{1}.xmin;

my_ann_structure.IW = trained_netw.IW{1};
my_ann_structure.b1 = trained_netw.b{1};
my_ann_structure.LW = trained_netw.LW{2};
my_ann_structure.b2 = trained_netw.b{2};

my_ann_structure.output_ymax = trained_netw.outputs{2}.processSettings{1}.ymax;
my_ann_structure.output_ymin = trained_netw.outputs{2}.processSettings{1}.ymin;
my_ann_structure.output_xmax = trained_netw.outputs{2}.processSettings{1}.xmax;
my_ann_structure.output_xmin = trained_netw.outputs{2}.processSettings{1}.xmin;
end

第二个 my_ann_evaluation:

function [ res ] = my_ann_evaluation(my_ann_structure, input)
% Works with only single INPUT vector
% Matrix version can be implemented

ymax = my_ann_structure.input_ymax;
ymin = my_ann_structure.input_ymin;
xmax = my_ann_structure.input_xmax;
xmin = my_ann_structure.input_xmin;
input_preprocessed = (ymax-ymin) * (input-xmin) ./ (xmax-xmin) + ymin;

% Pass it through the ANN matrix multiplication
y1 = tanh(my_ann_structure.IW * input_preprocessed + my_ann_structure.b1);

y2 = my_ann_structure.LW * y1 + my_ann_structure.b2;

ymax = my_ann_structure.output_ymax;
ymin = my_ann_structure.output_ymin;
xmax = my_ann_structure.output_xmax;
xmin = my_ann_structure.output_xmin;
res = (y2-ymin) .* (xmax-xmin) /(ymax-ymin) + xmin;
end
于 2017-03-09T15:16:44.397 回答