2

我正在x + sin(x^2)使用包编写一个神经网络，用于预测 R 中时间序列中的元素neuralnet。这就是训练数据的生成方式，假设窗口有 4 个元素，最后一个元素是必须预测的：

nntr0 <- ((1:25) + sin((1:25)^2))
nntr1 <- ((2:26) + sin((2:26)^2))
nntr2 <- ((3:27) + sin((3:27)^2))
nntr3 <- ((4:28) + sin((4:28)^2))
nntr4 <- ((5:29) + sin((5:29)^2))

然后，我把它们变成一个data.frame：

nntr <- data.frame(nntr0, nntr1, nntr2, nntr3, nntr4)

然后，我继续训练 NN：

net.sinp <- neuralnet(nntr4 ~ nntr0 + nntr1 + nntr2 + nntr3, data=nntr, hidden=10, threshold=0.04, act.fct="tanh", linear.output=TRUE, stepmax=100000)

过了一会儿，它给了我信息

Warning message:
algorithm did not converge in 1 of 1 repetition(s) within the stepmax 
Call: neuralnet(formula = nntr4 ~ nntr0 + nntr1 + nntr2 + nntr3, data = nntr,     hidden = 10, threshold = 0.04, stepmax = 100000, act.fct = "tanh", linear.output = TRUE)

谁能帮我弄清楚为什么它不收敛？非常感谢

4

2 回答 2

3

作为tanh激活函数（它是有界的），很难重现信号中的线性趋势。

您可以改用线性激活函数，或尝试去趋势信号。

# Data
dx <- 1
n <- 25
x <- seq(0,by=dx,length=n+4)
y <- x + sin(x^2)
y0 <- y[1:n]
y1 <- y[1 + 1:n]
y2 <- y[2 + 1:n]
y3 <- y[3 + 1:n]
y4 <- y[4 + 1:n]
d <- data.frame(y0, y1, y2, y3, y4)
library(neuralnet)

# Linear activation functions
r <- neuralnet(y4 ~ y0 + y1 + y2 + y3, data=d, hidden=10)
plot(y4, compute(r, d[,-5])$net.result)

# No trend
d2 <- data.frame(
  y0 = y0 - x[1:n], 
  y1 = y1 - x[1 + 1:n], 
  y2 = y2 - x[2 + 1:n], 
  y3 = y3 - x[3 + 1:n], 
  y4 = y4 - x[4 + 1:n]
)
r <- neuralnet(y4 ~ y0 + y1 + y2 + y3, data=d2, hidden=10, act.fct="tanh" )
plot(d2$y4, compute(r, d2[,-5])$net.result)
于 2013-05-19T08:08:27.877 回答
3

Warning message: algorithm did not converge in 1 of 1 repetition(s) within the stepmax意味着您的算法在收敛之前达到了有限的步骤。如果您键入?neuralnet并查看 stepmax 的定义，它会说，

神经网络训练的最大步数。达到这个最大值会导致神经网络的训练过程停止。

对于您的问题，我建议您将 stepmax 值增加到 1e7 看看会发生什么。

代码将是，

net.sinp <- neuralnet(nntr4 ~ nntr0 + nntr1 + nntr2 + nntr3, data=nntr, hidden=10, threshold=0.04, act.fct="tanh", linear.output=TRUE, stepmax=1e7)

于 2017-08-23T23:38:29.520 回答