0

我想使用可用的几个功能来预测一个变量。它似乎与视觉或 NLP 无关。尽管我相信有充分的理由表明要预测的变量是这些特征的非线性函数。所以我只使用普通的 MLP，如下所示：

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(53, 200)
        self.fc2 = nn.Linear(200, 100)
        self.fc3 = nn.Linear(100, 36)
        self.fc4 = nn.Linear(36, 1)

    def forward(self, x):
        x = F.leaky_relu(self.fc1(x))
        x = F.leaky_relu(self.fc2(x))
        x = F.leaky_relu(self.fc3(x))
        x = self.fc4(x)
        return x
net = Net().to(device)
loss_function = nn.MSELoss()
optimizer = optim.Adam(net.parameters(), lr=0.001, weight_decay= 1e-6)


def train_normal(model, device, train_loader, optimizer, epoch):
    model.train ()
    for batch_idx, (data, target) in enumerate (train_loader):
        data = data.to (device)
        target = target.to (device)
        optimizer.zero_grad ()
        output = model (data)
        loss = loss_function (output, target)
        loss.backward ()
        torch.nn.utils.clip_grad_norm_(model.parameters(), 100)
        optimizer.step ()
        if batch_idx % 100 == 0:
            print ('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format (
                epoch, batch_idx * len (data), len (train_loader.dataset),
                       100. * batch_idx / len (train_loader), loss.item ()))

起初它似乎有效并且确实学到了一些东西：

Train Epoch: 9 [268800/276316 (97%)] Loss: 0.217219
Train Epoch: 9 [275200/276316 (100%)] Loss: 0.234965
predicted actual diff
-1.18 -1.11 -0.08
0.15 -0.15 0.31
0.19 0.27 -0.08
-0.49 -0.48 -0.01
-0.05 0.08 -0.14
0.44 0.50 -0.06
-0.17 -0.05 -0.12
1.81 1.92 -0.12
1.55 0.76 0.79
-0.05 -0.30 0.26

但是当它继续学习时，我看到无论输入不同，结果似乎都接近彼此的平均值：

predicted actual diff
-0.16   -0.06   -0.10
-0.16   -0.55   0.39
-0.13   -0.26   0.14
-0.15   0.50    -0.66
-0.16   0.02    -0.18
-0.16   -0.12   -0.04
-0.16   -0.40   0.24
-0.01   1.20    -1.21
-0.07   0.33    -0.40
-0.09   0.02    -0.10

有什么技术/技巧可以阻止它？另外，如何提高准确性，我应该添加更多的隐藏层还是每层添加更多的神经元？

4

1 回答 1

0

  • 一个可能的问题是没有什么可学的。

  • 检查您的数据是否标准化并尝试不同的学习率（甚至可能是循环学习率）。可能发生的事情是算法无法进入最小值并不断跳来跳去。

  • 我不确定，如果您正在使用它，但请使用适用于另一个数据集的标准实现，然后将其更改为您的问题，以避免小的开发错误。您可以查看本教程如何使用 FastAi 在表格数据上应用深度学习，但如果您真的是新手，我完全建议您参加此 MOOC https://course.fast.ai/。这应该能让你获得一些水平和理解。

  • 如果您已经拥有所有表格数据，则可以尝试使用机器学习算法，例如线性回归/梯度提升。只是为了检查您的数据是否有一些信息。

>>> import numpy as np
>>> from sklearn.linear_model import LinearRegression
>>> X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
>>> # y = 1 * x_0 + 2 * x_1 + 3
>>> y = np.dot(X, np.array([1, 2])) + 3
>>> reg = LinearRegression().fit(X, y)
>>> reg.score(X, y)
1.0
>>> reg.coef_
array([1., 2.])
>>> reg.intercept_
3.0000...
>>> reg.predict(np.array([[3, 5]]))
array([16.])

如果您找到解决问题的方法，请告诉我！

于 2019-12-30T22:51:58.713 回答