-1

我在网上找到了一个示例，其中包含一种反向传播错误并调整权重的方法。我想知道这到底是如何工作的，以及使用了什么权重更新算法。会不会是梯度下降？ 

 /**
   * all output propagate back
   * 
   * @param expectedOutput
   *            first calculate the partial derivative of the error with
   *            respect to each of the weight leading into the output neurons
   *            bias is also updated here
   */
  public void applyBackpropagation(double expectedOutput[]) {

    // error check, normalize value ]0;1[
    for (int i = 0; i < expectedOutput.length; i++) {
        double d = expectedOutput[i];
        if (d < 0 || d > 1) {
            if (d < 0)
                expectedOutput[i] = 0 + epsilon;
            else
                expectedOutput[i] = 1 - epsilon;
        }
    }

    int i = 0;
    for (Neuron n : outputLayer) {
        ArrayList<Connection> connections = n.getAllInConnections();
        for (Connection con : connections) {
            double ak = n.getOutput();
            double ai = con.leftNeuron.getOutput();
            double desiredOutput = expectedOutput[i];

            double partialDerivative = -ak * (1 - ak) * ai
                    * (desiredOutput - ak);
            double deltaWeight = -learningRate * partialDerivative;
            double newWeight = con.getWeight() + deltaWeight;
            con.setDeltaWeight(deltaWeight);
            con.setWeight(newWeight + momentum * con.getPrevDeltaWeight());
        }
        i++;
    }

    // update weights for the hidden layer
    for (Neuron n : hiddenLayer) {
        ArrayList<Connection> connections = n.getAllInConnections();
        for (Connection con : connections) {
            double aj = n.getOutput();
            double ai = con.leftNeuron.getOutput();
            double sumKoutputs = 0;
            int j = 0;
            for (Neuron out_neu : outputLayer) {
                double wjk = out_neu.getConnection(n.id).getWeight();
                double desiredOutput = (double) expectedOutput[j];
                double ak = out_neu.getOutput();
                j++;
                sumKoutputs = sumKoutputs
                        + (-(desiredOutput - ak) * ak * (1 - ak) * wjk);
            }

            double partialDerivative = aj * (1 - aj) * ai * sumKoutputs;
            double deltaWeight = -learningRate * partialDerivative;
            double newWeight = con.getWeight() + deltaWeight;
            con.setDeltaWeight(deltaWeight);
            con.setWeight(newWeight + momentum * con.getPrevDeltaWeight());
        }
    }
}
4

2 回答 2

2

在我看来，这个解决方案使用随机梯度下降。它与常规梯度下降的主要区别在于，梯度是为每个示例近似的，而不是为所有示例计算梯度，然后选择最佳方向。这是实现反向传播的常用方法，甚至对梯度下降有一些优势（可以避免一些局部最小值）。我相信这篇文章也解释了这个想法是什么，还有很多其他文章解释了反向传播背后的主要思想。

于 2012-02-24T13:44:26.810 回答
1

这篇看起来很丑的文章似乎描述了完全相同版本的算法：http ://www.speech.sri.com/people/anand/771/html/node37.html 。我的大学论文中有相同的公式，但遗憾的是：a）它们无法在线获得；b) 它们的语言是你不会理解的。

至于梯度下降，该算法类似于梯度下降，但不能保证达到最佳位置。在每一步中，网络边都会改变它们的值，这样训练样本值的概率就会增加。

于 2012-02-24T13:44:20.227 回答