1

是否有约定在 PyTorch Lightning 中实现某种predict()方法，在使用 执行实际预测之前进行预处理forward()？

在我的例子中，我有一个由嵌入层和几个全连接层组成的文本分类器。文本在传递到嵌入层之前需要进行标记。在训练和评估期间，LightningDataModule'setup()方法可以完成工作。

现在，我想知道在生产过程中进行推理的最佳实践是什么。我可以在其中添加一个predict()方法，LightningModule我可以在其中编写与LightningDataModule.setup(). 但是，当然，我不想复制代码。

在官方 PyTorch Lightning 文档中链接的这个社区示例prepare_sample()项目中，作者定义了一个由他们的函数LightningModule使用的predict()函数，并且也传递给LightningDataModule.

这是处理预处理的正确方法吗？另外，为什么没有prepare_sample()或predict()在LightningModule？对我来说，这似乎是一个常见的用例，例如：

model = load_model('data/model.ckpt')  # load pre-trained model, analyzes user reviews

user_input = input('Your movie review > ')

predicted_rating = model.predict(user_input)  # e.g. "I liked the movie pretty much." -> 4 stars

print('Predicted rating: %s/5 stars' % predicted_rating)

现在我考虑了一下，predict()也应该forward()以与评估代码相同的方式处理结果，例如选择具有最高输出的类或选择输出大于某个阈值的所有类 - 一些不应重复的代码。

4

1 回答 1

0

LightningModule如果代码应该用于生产，为什么要使用 a ？如果模型完成，您只需要从内存中加载模型并定义预处理步骤。

您引用的存储库已在 LightningModule 之上实现了 predict 和 prepare_sample。

在我看来，pytorch-lightning 是用于模型的训练和评估，而不是用于生产。在将模型发送到生产环境时，我们不想保留分析和调试，因此我们创建了一个精简版本，它只加载模型、预处理和预测。

Towardsdatascience 有一个小代码示例：https ://towardsdatascience.com/how-to-deploy-pytorch-lightning-models-to-production-7e887d69109f

于 2021-02-21T21:10:07.627 回答