假设我有正常的训练/有效/测试数据集batch_size
和shuffle
编辑。
memory_size
当我进行训练/验证/测试时,我想为每个样本从整个数据集中抽取一定数量(称为)的新样本。
例如,我设置batch_size
为256
,让数据集洗牌,并设置memory_size
为80
。在每forward
一步中,不仅要使用数据集中的每个样本,还要使用整个原始数据集中的样本数据,大小是memory_size
我想在里面使用它forward
。让新样本作为内存(是的,我想采用Memory Networks的想法)。记忆可以在训练集中的每个样本之间重叠。
我正在使用 PyTorch 和 PyTorch-Lightning。我可以dataloader
为每个train_dataloader
,创建新内存val_dataloader
,test_dataloader
然后使用原始数据加载器加载它吗?还是有更好的方法来实现我想要的?