0

假设我有正常的训练/有效/测试数据集batch_sizeshuffle编辑。

memory_size当我进行训练/验证/测试时,我想为每个样本从整个数据集中抽取一定数量(称为)的新样本。

例如,我设置batch_size256,让数据集洗牌,并设置memory_size80。在每forward一步中,不仅要使用数据集中的每个样本,还要使用整个原始数据集中的样本数据,大小是memory_size我想在里面使用它forward。让新样本作为内存(是的,我想采用Memory Networks的想法)。记忆可以在训练集中的每个样本之间重叠。

我正在使用 PyTorch 和 PyTorch-Lightning。我可以dataloader为每个train_dataloader,创建新内存val_dataloadertest_dataloader然后使用原始数据加载器加载它吗?还是有更好的方法来实现我想要的?

4

0 回答 0