0

我有三个系列的观察结果，即Y、T和X。我想研究两个模型的预测值之间的差异。第一个模型是学习g这样的Y=g(T, X)。第二种模式是学习L等f。Y=L(T)f(X)我使用 PyTorch 包或 Tensorflow 包学习第一个模型没有问题。但是，我不确定如何学习L和f. 在使用 PyTorch 包时，我可以设置两个具有不同隐藏层和输入的前馈 MLP。为简单起见，我定义了一个前馈 MLP 类，如下所示：

class Feedforward(t.nn.Module): # the definition of a feedforward neural network
    # Basic definition
    def __init__(self, input_size, hidden_size):
        super(Feedforward, self).__init__()
        self.input_size = input_size
        self.hidden_size  = hidden_size
        self.fc1 = t.nn.Linear(self.input_size, self.hidden_size)
        self.relu = t.nn.ReLU()
        self.fc2 = t.nn.Linear(self.hidden_size, 1)
        self.sigmoid = t.nn.Sigmoid()
    # Advance definition
    def forward(self, x):
        hidden = self.fc1(x)
        relu = self.relu(hidden)
        output = self.fc2(relu)
        output = self.sigmoid(output)
        return output

假设L=Feedforward(2,10)和L=Feedforward(3,9)。据我了解，我只能学习L或f，但不能同时学习两者。是否可以学习L并f同时使用Y、T和X？

4

1 回答 1

1

我可能遗漏了一些东西，但我认为你可以：

L = Feedforward(2,10)
f = Feedforward(3,9)
L_opt = Adam(L.parameters(), lr=...)
f_opt = Adam(f.parameters(), lr=...)
for (x,t,y) in dataset:
    L.zero_grad()
    f.zero_grad()
    y_pred = L(t)*f(x)
    loss = (y-y_pred)**2
    loss.backward()
    L_opt.step()
    f_opt.step()

您还可以将它们融合在一个模型中：

class ProductModel(t.nn.Module):
    def __init__(self, L, f):
        self.L = L
        self.f = f
    def forward(self, x,t):
        return self.L(t)*self.f(x)

然后像你训练的那样训练这个模型g

于 2020-10-27T13:59:54.763 回答