5

这可能是一个非常简单的问题。我刚开始使用 PyTorch 闪电，无法弄清楚如何在训练后接收模型的输出。

我对 y_train 和 y_test 作为某种数组的预测感兴趣（稍后步骤中的 PyTorch 张量或 NumPy 数组）以使用不同的脚本在标签旁边绘制。

dataset = Dataset(train_tensor)
val_dataset = Dataset(val_tensor)
training_generator = torch.utils.data.DataLoader(dataset, **train_params)
val_generator = torch.utils.data.DataLoader(val_dataset, **val_params)
mynet = Net(feature_len)
trainer = pl.Trainer(gpus=0,max_epochs=max_epochs, logger=logger, progress_bar_refresh_rate=20, callbacks=[early_stop_callback], num_sanity_val_steps=0)
trainer.fit(mynet)

在我的闪电模块中，我具有以下功能：

def __init__(self, random_inputs):

def forward(self, x):

def train_dataloader(self):
    
def val_dataloader(self):

def training_step(self, batch, batch_nb):

def training_epoch_end(self, outputs):

def validation_step(self, batch, batch_nb):

def validation_epoch_end(self, outputs):

def configure_optimizers(self):

我是否需要特定的预测功能，或者是否有任何我看不到的已经实现的方式？

4

4 回答 4

4

我不同意这些答案：OP 的问题似乎集中在他应该如何使用经过闪电训练的模型来获得一般预测，而不是针对训练管道中的特定步骤。在这种情况下，用户不需要靠近 Trainer 对象 - 这些不打算用于一般预测，因此上面的答案鼓励反模式（每次我们都随身携带一个 trainer 对象）想要做一些预测）给任何将来阅读这些答案的人。

我们可以直接trainer从已定义的 Lightning 模块中获取预测，而不是model = Net(...)使用已在 Lightning 模块上实现/覆盖 - 这是必需的）。xmodel(x)forward

相反，Trainer.predict()通常不是使用您训练的模型获得预测的预期方法。Trainer API 提供方法tune和LightningModule 作为训练管道的一部分fit，test在我看来，该predict方法是为单独数据加载器上的临时预测提供的，作为不太“标准”训练步骤的一部分。

OP 的问题（我需要一个特定的预测函数还是我没有看到任何已经实现的方法？）暗示他们不熟悉该forward()方法在 PyTorch 中的工作方式，但询问是否已经有一种方法预测他们看不到。因此，完整的答案需要进一步解释该forward()方法适合预测过程的位置：

之所以model(x)有效，是因为 Lightning 模块是其子类，torch.nn.Module它们实现了一个名为的魔术方法__call__()，这意味着我们可以像调用函数一样调用类实例。__call__()依次调用forward()，这就是为什么我们需要在 Lightning 模块中覆盖该方法。

注意。因为forward只是我们使用时调用的逻辑的一部分，所以除非你有特定的理由偏离，否则model(x)总是建议使用model(x)而不是预测。model.forward(x)

于 2021-08-10T14:24:57.760 回答
3

您也可以使用该predict方法。这是文档中的示例。https://pytorch-lightning.readthedocs.io/en/latest/starter/introduction_guide.html

class LitMNISTDreamer(LightningModule):

    def forward(self, z):
        imgs = self.decoder(z)
        return imgs

    def predict_step(self, batch, batch_idx: int , dataloader_idx: int = None):
        return self(batch)


model = LitMNISTDreamer()
trainer.predict(model, datamodule)
于 2021-06-22T15:22:06.323 回答
0

教练有一个test功能。您可能想查看 pytorch-lightning 的原始文档以了解更多详细信息：https ://pytorch-lightning.readthedocs.io/en/latest/trainer.html#testing 。

于 2021-01-20T11:34:22.457 回答
0

您可以通过两种方式尝试预测：

  1. 照常执行批量预测。
test_dataset = Dataset(test_tensor)
test_generator = torch.utils.data.DataLoader(test_dataset, **test_params)

mynet.eval()
batch = next(iter(test_generator))
with torch.no_grad():
    predictions_single_batch = mynet(**unpacked_batch)
  1. 实例化一个新Trainer对象。Trainer 的预测 API允许您通过任意DataLoader.
test_dataset = Dataset(test_tensor)
test_generator = torch.utils.data.DataLoader(test_dataset, **test_params)

predictor = pl.Trainer(gpus=1)
predictions_all_batches = predictor.predict(mynet, dataloaders=test_generator)

 我注意到，在第二种情况下，Pytorch Lightning会处理诸如将张量和模型移至（而不是移出）之类的事情GPU，这与其执行分布式预测的潜力相一致。它也不会返回任何梯度附加的损失值，这有助于消除编写样板代码（如with torch.no_grad().

于 2021-12-02T22:17:24.117 回答