1

我正在研究一个近似函数 f(X)=y 的神经网络，其中 X 是一个向量 [x0, .., xn] 和 [-inf, +inf] 中的 y。这个近似函数需要具有大约 1e-8 的精度（误差总和）。事实上，我需要我的神经网络过拟合。

X 由区间 -500 和 500 中的随机点组成。在将这些点放入输入层之前，我将它们归一化为 [0, 1]。

我使用 keras 如下：

dimension = 10 #example

self.model = Sequential()
self.model.add(Dense(128, input_shape=(dimension,), init='uniform',  activation='relu'))
self.model.add(Dropout(.2))
self.model.add(Activation("linear"))
self.model.add(Dense(64, init='uniform', activation='relu'))
self.model.add(Activation("linear"))
self.model.add(Dense(64, init='uniform', activation='relu'))
self.model.add(Dense(1))

X_scaler = preprocessing.MinMaxScaler(feature_range=(0, 1))
y_scaler = preprocessing.MinMaxScaler(feature_range=(0, 1))

X_scaled = (X_scaler.fit_transform(train_dataset))
y_scaled = (y_scaler.fit_transform(train_labels))

self.model.compile(loss='mse', optimizer='adam')
self.model.fit(X_scaled, y_scaled, epochs=10000, batch_size=10, verbose=1)

我尝试了不同的 NN，首先是 [n] -> [2] -> [1] 和 Relu 激活函数，然后是 [n] -> [128] -> [64] -> [1]。我尝试了 SGB Optimizer，我慢慢地将学习率从 1e-9 提高到 0.1。我也尝试过不对数据进行标准化，但在这种情况下，损失非常高。

在当前设置下，我的最佳损失 (MSE) 是 0.037，但我离目标 (1e-8) 还很远。

首先，我想知道我是否做错了什么。我的路好吗？如果没有，我怎样才能达到我的目标？

非常感谢你

尝试#2

我尝试了这个新配置：

model = Sequential()
model.add(Dense(128, input_shape=(10,), init='uniform', activation='relu'))
model.add(Dropout(.2))
model.add(Dense(64, init='uniform', activation='relu'))
model.add(Dense(64, init='uniform', activation='relu'))
model.add(Dense(1, init='uniform', activation='sigmoid'))

在 50 个元素的样本上，batch_size 为 10 并且在 100000 个时期内。我在 1e-4 左右输了。

尝试#3

model.add(Dense(128, input_shape=(10,), activation='tanh'))
model.add(Dense(64,  activation='tanh'))
model.add(Dense(1, activation='sigmoid'))

batch_size=1000 epochs=1e5

结果：损失 1.e-7 左右

4

0 回答 0