2

我试图根据之前的 50 个输入预测 5 个加密货币的周期性价格。

>>> X_train.shape, X_test.shape, Y_train.shape, Y_test.shape
((291314, 50, 8), (72829, 50, 8), (291314, 5), (72829, 5))

在这里，我有 50 个先前的样本 x 8 个特征作为输入样本和 5 个下一个时期的价格作为输出

我已经用这段代码构建了模型：

from tensorflow.keras.layers import GRU
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Activation

model = Sequential()
model.add(GRU(units=50, input_shape=X_train.shape[1:], return_sequences=False))
model.add(Activation('tanh'))
model.add(Dropout(0.2))
model.add(Dense(NFS))
model.add(Activation('relu'))
model.compile(loss='mse', optimizer='adam')
model.fit(X_train, Y_train, batch_size=50, validation_data=(X_test, Y_test), epochs=2)

这给了我输出：

Train on 291314 samples, validate on 72829 samples
Epoch 1/2
291314/291314 [==============================] - 487s 2ms/step - loss: 0.0107 - val_loss: 0.2502
Epoch 2/2
291314/291314 [==============================] - 463 2ms/step - loss: 0.0103 - val_loss: 0.2502

在这一步之后，我尝试预测 X_test 的输出，但我得到的不是预测，而是形状正确但充满零而不是任何预测的矩阵：

>>> model.predict(X_test)
array([[-0., -0., -0., -0., -0.],
       [-0., -0., -0., -0., -0.],
       [-0., -0., -0., -0., -0.],
       ...,
       [-0., -0., -0., -0., -0.],
       [-0., -0., -0., -0., -0.],
       [-0., -0., -0., -0., -0.]], dtype=float32)

为什么我会变得这么糟糕？我是否使用正确的方式来做我想做的事？

UPD：这是完整的笔记本。

4

3 回答 3

4

首先，您需要扩展您的测试 ( X_test) 输入。您确实确实扩展了您的训练数据 ( X_train)，但没有扩展测试集。

所以你需要像你一样缩放它X_train：

X_test = preprocessing.MinMaxScaler().fit_transform(X_test.reshape(-1, 50*8)).reshape(-1, 50, 8)

此外，'ReLU'在输出层中使用激活是有问题的。因为即使最后一层的权重产生负输出，你也总会得到正输出。

这里的问题是这些负输出的权重不会更新太多，因为损失非常低。

想象一下，您的权重设置导致输出为-23435235，而您的目标为0.9。在您的输出上使用'ReLU'激活时，它被映射-23435235到0导致低损耗的结果。但是低损失意味着更少的变化，而相反的高损失会导致您的体重发生很大变化。

所以你想要一个高损失，以便对你的权重进行强有力的修正。因为-23435235不是你想要的。

所以最后一层不要用'ReLU'，我改到'linear'这里。

所以说（我改成'tanh'顺便'ReLU'说一句。）代码：

#somewhere before you need to normalize your `X_test`
X_test = preprocessing.MinMaxScaler().fit_transform(X_test.reshape(-1, 50*8)).reshape(-1, 50, 8)


from tensorflow.keras.layers import GRU
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Activation

model = Sequential()
model.add(GRU(units=50, input_shape=X_train.shape[1:], return_sequences=False))
model.add(Activation('relu'))
model.add(Dropout(0.2))
model.add(Dense(NFS))
model.add(Activation('linear'))
model.compile(loss='mse', optimizer='adam')
model.fit(X_train, Y_train, batch_size=4000, validation_data=(X_test, Y_test), epochs=15)

输出：

Train on 291314 samples, validate on 72829 samples
Epoch 1/15
291314/291314 [==============================] - 22s 75us/step - loss: 0.1523 - val_loss: 0.2442
Epoch 2/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0652 - val_loss: 0.2375
Epoch 3/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0420 - val_loss: 0.2316
Epoch 4/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0337 - val_loss: 0.2262
Epoch 5/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0271 - val_loss: 0.2272
Epoch 6/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0219 - val_loss: 0.2256
Epoch 7/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0179 - val_loss: 0.2245
Epoch 8/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0149 - val_loss: 0.2246
Epoch 9/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0125 - val_loss: 0.2244
Epoch 10/15
291314/291314 [==============================] - 16s 57us/step - loss: 0.0108 - val_loss: 0.2213
Epoch 11/15
291314/291314 [==============================] - 16s 57us/step - loss: 0.0096 - val_loss: 0.2197
Epoch 12/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0087 - val_loss: 0.2189
Epoch 13/15
291314/291314 [==============================] - 16s 57us/step - loss: 0.0080 - val_loss: 0.2178
Epoch 14/15
291314/291314 [==============================] - 16s 56us/step - loss: 0.0075 - val_loss: 0.2148
Epoch 15/15
291314/291314 [==============================] - 16s 57us/step - loss: 0.0072 - val_loss: 0.2129
<tensorflow.python.keras.callbacks.History at 0x7f8a93637b70>

进一步的X_test结果：

代码：

prediction = model.predict(X_test[:10])
prediction

输出：

array([[0.03562379, 0.06016447, 0.0987532 , 0.01986726, 0.0336756 ],
       [0.03518523, 0.06041833, 0.0983481 , 0.01864071, 0.03437094],
       [0.03487844, 0.06067847, 0.09811568, 0.0175517 , 0.03480709],
       [0.03491565, 0.05986937, 0.09927133, 0.02029082, 0.03347992],
       [0.03466946, 0.06018706, 0.09859383, 0.01869587, 0.03432   ],
       [0.03459518, 0.06030918, 0.09850594, 0.01805007, 0.03444977],
       [0.03448001, 0.06019764, 0.09864715, 0.01818896, 0.034256  ],
       [0.03450274, 0.05936757, 0.10001318, 0.02131432, 0.03305689],
       [0.03424717, 0.05954869, 0.09983289, 0.0208826 , 0.03378636],
       [0.03426195, 0.05959999, 0.09991242, 0.02090426, 0.03394405]],
      dtype=float32)

如上所述，我使用您的笔记本和数据来训练模型。

如您所见，验证损失在 epoch 15 中仍在减少，而且测试输出现在看起来非常接近目标。

还有一点需要注意 - 我还没有阅读笔记本中的所有预处理代码，但在我看来，您使用的是绝对值。

如果是这种情况，您应该考虑改用百分比变化（例如，从当前时间点到未来的预测点）。这也为您进行缩放。（10% 变化 = 0.1）

进一步的绝对值确实变化太大。如果价格是~5.4324十个月前的价格，而今天的价格~50.5534比这些数据对您毫无用处，而价格变化的相对模式可能仍然有效。

这只是一个旁注 - 我希望它有所帮助。

于 2018-08-29T20:47:00.997 回答
1

好吧，我认为@blue-phoenox 的答案中建议的标准化方案是有缺陷的。那是因为你永远不应该独立地标准化测试数据（即使用不同的统计数据）。相反，您应该使用在训练数据标准化期间计算的统计数据来标准化测试数据。所以它必须是这样的：

mms = preprocessing.MinMaxScaler()
X_train = mms.fit_transform(X_train)
X_test = mms.transform(X_test) # you should not use fit_transform

这是有道理的，因为考虑以下场景，您已经训练了模型并现在将其部署到生产中以供实际使用。现在，用户向它提供了一个新样本。您需要首先规范化这个新样本，但是如何？您不能独立缩放其值，因为它只有一个样本（即，如果您使用 min-max 缩放器，它们都将为 1 或 0）。相反，您将使用（在使用 min-max 缩放器的情况下）在训练数据上计算的“min”和“max”值来规范化这个新的测试数据。

这在图像模型中很常见，如下所示：

X_train /= 255.
X_test /= 255.

请注意，我们将训练数据和测试数据除以相同的数字（即 255）。或者更复杂的归一化方案：

X_mean = X_train.mean(axis=0)
X_std = X_train.std(axis=0)
X_train -= X_mean
X_train /= X_std + 1e-8   # add a small constant to prevent division by zero

# Now to normalize test data we use the same X_mean and X_std already computed
X_test -= X_mean
X_test /= X_std + 1e-8

旁注（正如我在评论中提到的）：如果您在 GPU 上运行训练，那么您可以考虑使用CuDNNGRU代替GRU（或CuDNNLSTM代替LSTM），因为它专门针对 GPU 进行了优化并加快了训练过程。

于 2018-08-30T17:37:41.697 回答
0

对于任何有相同输出错误并且即使现在也搜索过的人，为了扩展@MBT 提供的出色答案，您还可以尝试将 Leaky ReLU 作为激活。

只需更改model.add(Activation("relu"并model.add(LeakyReLU(alpha=[enter alpha, default is 0.3]))确保from keras.layers.advanced_activations import LeakyReLU.

我在这里找到了这个解决方案：https ://github.com/keras-team/keras/issues/3687

于 2020-06-10T17:16:59.463 回答