1

由于 Pytorch Lightning 为模型检查点提供了自动保存功能，因此我使用它来保存 top-k 最佳模型。特别是在培训师设置中，

    checkpoint_callback = ModelCheckpoint(
                            monitor='val_acc',
                            dirpath='checkpoints/',
                            filename='{epoch:02d}-{val_acc:.2f}',
                            save_top_k=5,
                            mode='max',
                            )

这运行良好，但它不保存模型对象的某些属性。我的模型在每个训练时期结束时都会存储一些张量，这样

class SampleNet(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.save_hyperparameters()
        self.layer = torch.nn.Linear(100, 1)
        self.loss = torch.nn.CrossEntropy()

        self.some_data = None # Initialize as None

    def training_step(self, batch):
        x, t = batch
        out = self.layer(x)
        loss = self.loss(out, t)
        results = {'loss': loss}

        return results

    def training_epoch_end(self, outputs):
       
        self.some_data = some_tensor_object

这是一个简化的示例，但我希望上面制作的检查点文件checkpoint_callback记住该属性self.some_data，但是当我从检查点加载模型时，它总是重置为None. 我确认它在培训期间成功更新。

我尝试不将其初始化为 None ，init但加载模型时该属性将消失。

我想避免将属性保存为不同的pt文件，因为它与模型配置相关联，因此我稍后需要手动将文件与相应的检查点文件匹配。

是否可以在检查点文件中包含这样的张量属性？

4

2 回答 2

2

似乎不可能直接使用，因为提取最有可能nn.Module.state_dict()使用的参数。此方法仅提取实际被视为参数的张量的值。因此，在这种情况下，一种解决方法是将您的数据保存为参数（请参阅文档）：

self.some_data = torch.nn.parameter.Parameter(your_data)
于 2021-04-09T12:25:16.683 回答
2

只需使用模型类钩子on_save_checkpoint()和on_load_checkpoint()您想要与默认属性一起保存的各种对象。

def on_save_checkpoint(self, checkpoint) -> None:
    "Objects to include in checkpoint file"
    checkpoint["some_data"] = self.some_data

def on_load_checkpoint(self, checkpoint) -> None:
    "Objects to retrieve from checkpoint file"
    self.some_data= checkpoint["some_data"]

查看模块文档

于 2021-09-15T11:57:37.503 回答