0

我正在尝试 FANN PHP 模块，我能够在此处成功运行示例http://php.net/manual/en/fann.examples-1.php

我对其进行了修改，使其能够处理具有任意输出功能的 5 个输入。我生成了 1000 个训练数据并运行了神经网络的训练。但是，在测试时，输出对于不同的输入有重复的结果。

这是训练数据的一个片段。功能是$x = round($a + $b * $c / $d - $e, 2)。所以35 + 33 * 31 / 25 - 48 = 27.92

1000 5 1
35 33 31 25 48
27.92
74 3 1 26 94
-19.88
7 62 86 48 71
47.08
31 73 68 94 95
-11.19
100 87 44 75 43
108.04
72 25 62 39 57
54.74
...

这是我的训练代码。我使用了 FANN_LINEAR，因为其他激活函数的输出为 0、1 或 -1。我读到 FANN_LINEAR 是无界的。所以这应该是适用的，对吧？

<?php
$num_input = 5;
$num_output = 1;
$num_layers = 6;
$num_neurons_hidden = 4;
$desired_error = 0.0001;
$max_epochs = 500000;
$epochs_between_reports = 1000;

$ann = fann_create_standard($num_layers, 5, 5, 5, 5, 5, 1);

if ($ann) {
    fann_set_activation_function_hidden($ann, FANN_LINEAR);
    fann_set_activation_function_output($ann, FANN_LINEAR);

    $filename = dirname(__FILE__) . "/xor.data";
    if (fann_train_on_file($ann, $filename, $max_epochs, $epochs_between_reports, $desired_error))
        fann_save($ann, dirname(__FILE__) . "/xor_float.net");

    fann_destroy($ann);
}

这是我的测试代码

<?php
$train_file = (dirname(__FILE__) . "/xor_float.net");
if (!is_file($train_file))
    die("The file xor_float.net has not been created! Please run simple_train.php to generate it");

$ann = fann_create_from_file($train_file);
if (!$ann)
    die("ANN could not be created");

$a = mt_rand(1, 100);
$b = mt_rand(1, 100);
$c = mt_rand(1, 100);
$d = mt_rand(1, 100);
$e = mt_rand(1, 100);

echo "Expecting $a $b $c $d $e => ".round($a + $b * $c / $d - $e, 2)."\n\n";

$input = array($a, $b, $c, $d, $e);
$calc_out = fann_run($ann, $input);
echo "Result: ".print_r($calc_out, true);
fann_destroy($ann);

这就是它变得奇怪的地方。我尝试多次运行此代码，但结果相同

fann$ php test2.php 
Expecting 94 67 95 40 85 => 168.13

Result: Array
(
    [0] => 89.329223632812
)
fann$ php test2.php 
Expecting 53 43 56 64 64 => 26.63

Result: Array
(
    [0] => 89.329223632812
)
fann$ php test2.php 
Expecting 18 85 57 94 30 => 39.54

Result: Array
(
    [0] => 89.329223632812
)

你能给我一些指示来实现我的目标，即使用 FANN 逼近任意函数。我必须增加我的训练数据吗？增加层数，还是每层节点数？我是否使用其他激活功能。

4

1 回答 1

2

乍一看，您的网络似乎陷入了某种权重配置。这意味着通常初始化为 0 附近的小值的权重开始更改它们的值以更好地适应所需的输出。由于这些变化很小，有可能在许多训练时期之后，它们要么没有“移动足够”以找到一个好的值组合，要么它们保持在局部最小值。有许多可能的原因（或只是要考虑的事情）：

  • 与权重的初始值（~range [-1,1]）相比，网络和训练算法必须处理的输入和输出值相对较大（~range [-20,100]）。这里最简单的解决方案是将输入和输出标准化为 A) 小，B) 以 0 为中心。

  • 激活函数FANN_LINEAR没有上限和下限。这可能很好，但也可能导致分歧。一种选择是使用FANN_SIGMOID_SYMMETRIC，它有限制，但也有一个过渡区域，它几乎是线性的。它适用于标准化的输入和输出。

  • 有时，动量和学习率的值会导致学习效果不佳。为了进行一些诊断，您可能需要绘制误差相对于训练时期的学习误差曲线。当然这有点费力，因为您需要单独训练每个时期（fann_train_epoch而不是fann_train_on_file）。

  • 最后。我没有大型网络的经验，但我可以想象一个隐藏层可以学习这样的问题。为什么不试一试呢？固定 1 个隐藏层的数量已经很困难了，只需在方程中放入越来越多的参数；）

好吧，我希望对您有所帮助 :) 玩得开心！

于 2016-05-31T14:59:31.640 回答