3

我是神经网络的新手。我正在尝试使用 DL4j 实现和训练简单的神经网络。我的功能：

y = x * 2 + 300

我的愿景 我的愿景

我的结果 我的结果

参数：

    public final int seed = 12345;
    public final int iterations = 1;
    public final int nEpochs = 1;
    public final int batchSize = 1000;
    public final double learningRate = 0.01;
    public final Random rng = new Random(seed);
    public final int numInputs = 2;
    public final int numOutputs = 1;
    public final double maxX = 100;//xmax = 100; ymax=500. 
    public final double scale = 500;//for scale out x and y.

网络配置：

    public MultiLayerConfiguration createConf() {
        return new NeuralNetConfiguration.Builder()
                .seed(seed)
                .iterations(iterations)
                .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
                .learningRate(learningRate)
                .weightInit(WeightInit.XAVIER)
                .updater(new Nesterovs(0.9))
                .list()
                .layer(0, new OutputLayer.Builder(LossFunctions.LossFunction.MSE)
                        .activation(Activation.IDENTITY)
                        .nIn(numInputs).nOut(numOutputs).build())
                .pretrain(false).backprop(true).build();
    }

训练数据：

    public DataSetIterator generateTrainingData() {

        List<DataSet> list = new ArrayList<>();

        for (int i = 0; i < batchSize; i++) {

            double x = rng.nextDouble() * maxX * (rng.nextBoolean() ? 1 : -1);
            double y = y(x);

            list.add(
                    new DataSet(
                            Nd4j.create(new double[]{x / scale, 1}),
                            Nd4j.create(new double[]{y / scale})
                    )
            );
        }

        return new ListDataSetIterator(list, batchSize);
    }

测试：

    public void test() {

        final MultiLayerNetwork net = new MultiLayerNetwork(createConf());
        net.init();
        net.setListeners(new ScoreIterationListener(1));

        for (int i = 0; i < nEpochs; i++) {
            net.fit(generateTrainingData());
        }

        int idx = 0;
        double x[] = new double[19];
        double y[] = new double[19];
        double p[] = new double[19];
        for (double i = -90; i < 100; i += 10) {
            x[idx] = i;
            y[idx] = y(i);
            p[idx] = scale * net.output(Nd4j.create(new double[]{i / scale, 1})).getDouble(0, 0);
            idx++;
        }
        plot(x, y, p);
    }

请告诉我我做错了什么或者我的视力不正确......

提前谢谢你， 问候， 米纳斯

4

1 回答 1

3

看看这个例子： https ://github.com/deeplearning4j/dl4j-examples/tree/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/feedforward/regression

几个小贴士：

使用我们内置的标准化工具。不要自己这样做。我们的标准化工具也允许您标准化标签。

关闭小批量（在靠近顶部的神经网络配置上设置小批量（假））最终你仍然没有真正做“小批量学习”

此外，您每次都在重新生成数据集。没有必要这样做。只需创建一次并将其传递给适合。

出于可视化目的，使用我之前提到的恢复机制（在示例中，您可以选择任何规范化器中的 1 个，例如 MinMaxScalar、NormalizeStandardize 等）

你的迭代也是错误的。只需将该值保持为 1 并保持 for 循环。否则你只是过度拟合并且花费了比你需要的更多的训练时间。“迭代”实际上是您希望在同一数据集上每次拟合调用运行的更新次数。无论如何，下一个版本我们将摆脱该选项。

于 2018-01-07T11:50:41.637 回答