3

几天来，我一直在努力让 Encog 继续前进。

我的数据包含 4 个输入变量（介于 1 和 1000 之间）和 1 个输出变量（介于 -30 和 30 之间）。我正在使用大约 50,000 行数据进行训练。

数据经过标准化（tanh 激活函数在 -1 和 1 之间），然后将其传递到具有以下结构和训练的神经网络：

 Network.AddLayer(new BasicLayer(null, true, 4));
 Network.AddLayer(new BasicLayer(new ActivationTANH(), true, 8));
 Network.AddLayer(new BasicLayer(new ActivationTANH(), false, 1));
 Network.Structure.FinalizeStructure();
 Network.Reset();

 IMLDataSet trainingData = new BasicMLDataSet(Input.ToArray(), ExpectedOutput.ToArray());

 IMLTrain train = new ResilientPropagation(Network, trainingData);

 int epoch = 1;

 do
 {
     train.Iteration();
     Console.WriteLine(@"Epoch #" + epoch + @" Error:" + train.Error);
     epoch++;
 } while (train.Error > 0.024);

然后程序输出每一行的预期输出以及神经网络的实际输出。这是输出的屏幕截图（几行）：http: //i.imgur.com/UVWCOis.png

如您所见，在打印此输出之前，误差（即所有行的神经网络的平均误差）必须低于 0.024。但是许多预期和实际输出都存在大量错误。

我相信神经网络对传播不够敏感。看起来神经网络的实际输出都非常接近，我相信因为它们与初始随机权重相差不远。

谁能建议我如何解决这个问题？

我尝试过减小输入的大小（我使用了 50 个），我还尝试过消除偏差，这两者都导致了类似的结果。

4

1 回答 1

2

在没有看到您的数据的情况下，我无法真正说出差异来自何处。我怀疑某些数据元素的错误比其他数据元素高得多。如果您使用此方法，它将为您提供有关如何计算错误的详细信息，以及每个元素在处理数据时的“当前错误”是什么。如果您的数据集很大，这将产生相当多的输出。

    public static void errorDiagnostic(BasicNetwork network, MLDataSet dataSet) {
    int count = 0;
    double totalError = 0;

    System.out.println("Network error: " + network.calculateError(dataSet));


    for(MLDataPair pair : dataSet) {
        MLData actual = network.compute(pair.getInput());
        System.out.println("Evaluating element " + count + " : " + pair.getInput().toString());

        for(int i=0;i<pair.getIdeal().size();i++) {
            double delta = Math.abs(actual.getData(i) - pair.getIdeal().getData(i));
            totalError += delta*delta;
            count++;
            double currentError = totalError/count;
            System.out.println("\tIdeal: " + pair.getIdeal().getData(i) + ", Actual: " + actual.getData(i) + ", Delta: " + delta + ", Current Error: " + currentError);

        }
    }
}

例如，经过训练的 XOR（来自 Encog hello world 应用程序）的输出是：

    Network error: 0.009643582111728128
Evaluating element 0 : [BasicMLData:0.0,0.0]
    Ideal: 0.0, Actual: 0.10384251352940682, Delta: 0.10384251352940682, Current Error: 0.01078326761610504
Evaluating element 1 : [BasicMLData:1.0,0.0]
    Ideal: 1.0, Actual: 0.9109458503325736, Delta: 0.08905414966742642, Current Error: 0.009356954594546711
Evaluating element 2 : [BasicMLData:0.0,1.0]
    Ideal: 1.0, Actual: 0.8914073581830911, Delta: 0.10859264181690886, Current Error: 0.01016875701528963
Evaluating element 3 : [BasicMLData:1.0,1.0]
    Ideal: 0.0, Actual: 0.08982236581744897, Delta: 0.08982236581744897, Current Error: 0.009643582111728128

这使您可以查看每个元素对错误的影响程度。

于 2014-04-11T20:54:17.683 回答